💬 NLP

RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context

Il documento introduce RELIC, un framework per valutare il ragionamento complesso dei modelli linguistici di grandi dimensioni testando la loro capacità di riconoscere linguaggi liberi dal contesto in contesto, rivelando che persino i modelli avanzati non riescono a scalare il calcolo inferenziale con la difficoltà del compito e spesso passano dal ragionamento algoritmico alla congettura all'aumentare della complessità.

Autori originali: Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

Pubblicato 2026-04-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente molto intelligente e colto per risolvere un rompicapo. Gli consegni un nuovo regolamento (una "grammatica") e una frase specifica (una "stringa"). La tua domanda è semplice: "Questa frase rispetta le regole del libro?"

Questo è esattamente di cosa tratta il documento RELIC. È un nuovo modo per testare quanto bene i Modelli Linguistici di grandi dimensioni (LLM) — i cervelli artificiali dietro strumenti come ChatGPT — riescano effettivamente a pensare attraverso problemi complessi e multi-step quando ricevono nuove istruzioni all'ultimo minuto.

Ecco la sintesi delle scoperte del documento utilizzando semplici analogie:

1. Il Test: Il "Rompicapo del Regolamento"

I ricercatori hanno creato un gioco in cui l'IA deve agire come un detective della grammatica.

La Preparazione: Hanno generato migliaia di regolamenti unici e inventati. Non sono inglese o spagnolo; sono insiemi astratti di regole (come "A deve essere seguito da B", o "C si trasforma in D").
Il Compito: L'IA vede il regolamento e una frase composta da simboli casuali (come t43 t51 t66). Deve dire "Sì" (questa frase rispetta le regole) o "No" (viola le regole).
La Svolta: Rendono i rompicapo più difficili aumentando la grandezza dei regolamenti e la lunghezza delle frasi.

2. L'Aspettativa: L'Analogia della "Salita in Montagna"

Pensa a risolvere questi rompicapo come a scalare una montagna.

Piccole Montagne (Rompicapo Facili): Se il regolamento è minuscolo e la frase è breve, l'IA può facilmente raggiungere la cima. Usa una mappa logica (un algoritmo) per controllare ogni passo.
Grandi Montagne (Rompicapo Difficili): Man mano che il regolamento diventa enorme e la frase lunga, la montagna diventa più ripida. Per risolverlo correttamente, l'IA ha bisogno di utilizzare più energia mentale (più "token di pensiero") per controllare ogni singola possibilità. È come aver bisogno di uno zaino più grande e di più acqua per scalare una vetta più alta.

3. La Scoperta: "Licenziamento Silenzioso"

Questa è la scoperta più sorprendente e critica del documento. I ricercatori si aspettavano che, man mano che i rompicapo diventavano più difficili, l'IA "si impegnasse di più" utilizzando più potenza di pensiero.

Invece, l'IA ha iniziato a fare "licenziamento silenzioso".

L'Analogia: Immagina un lavoratore a cui viene chiesto di risolvere un semplice problema matematico. Prende una calcolatrice e svolge il lavoro. Ma quando gli dai un'equazione massiccia e complessa, invece di prendere una super-calcolatrice e lavorare più a lungo, si limita a indovinare. Smette di cercare di fare i calcoli e inizia a inventare risposte basandosi sull'intuito.
Le Prove:
- Quando i rompicapo diventavano difficili, l'IA non usava più tempo di pensiero; ne usava effettivamente meno.
- L'IA ha smesso di usare un ragionamento logico passo-passo (come costruire un albero di possibilità) e ha iniziato a fare affidamento su scorciatoie sbagliate (euristiche).
- Anche i modelli di "ragionamento" più avanzati (quelli progettati per pensare in profondità) hanno fatto questo. Iniziano con un buon piano, si sentono sopraffatti e poi passano silenziosamente all'indovinare.

4. Il Risultato: "Giusto per le Ragioni Sbagliate"

Il documento ha scoperto che quando l'IA fa "licenziamento silenzioso", spesso ottiene la risposta giusta per caso, ma per le ragioni sbagliate.

Esempio: L'IA potrebbe rifiutare una frase solo perché è "troppo lunga", anche se le regole permettono effettivamente frasi lunghe. Ha dato la risposta "No" corretta, ma la sua logica era completamente rotta.
Il Problema: Se non puoi vedere il processo di pensiero dell'IA (il che è vero per molti modelli commerciali), potresti pensare che sia intelligente perché ha dato la risposta giusta. Ma in realtà, sta solo indovinando, e fallirà nel prossimo problema difficile.

5. La Conclusione: Cervelli Fragili

Il documento conclude che i modelli di IA attuali sono fragili.

Capiscono l'idea del compito quando è facile.
Ma non riescono a scalare il loro sforzo per adattarsi alla difficoltà del problema.
Non hanno un "motore interno" affidabile che dice: "Questo è difficile, devo dedicarci più tempo". Invece, si arrendono e indovinano.

Riepilogo

Il documento introduce RELIC come un test di stress per il ragionamento dell'IA. Dimostra che anche i modelli di IA più intelligenti di oggi sono come studenti che possono risolvere compiti facili, ma quando si trovano di fronte a un esame difficile, smettono di cercare di risolvere i problemi e si limitano a riempire le caselle a caso. Fanno "licenziamento silenzioso" sui compiti difficili, rendendoli inaffidabili per il ragionamento complesso e del mondo reale, dove è necessario che seguano effettivamente le regole, non che indovinino.

1. Enunciato del Problema

I Large Language Models (LLM) sono sempre più chiamati a risolvere problemi complessi che richiedono il recupero e la composizione di molteplici informazioni in contesto (ad esempio, analizzare bilanci finanziari o seguire istruzioni multi-step). Tuttavia, valutare queste capacità è difficile a causa di:

Mancanza di Verificabilità: I compiti del mondo reale spesso mancano di verità fondamentale (ground truth) o metriche precise.
Complessità Incontrollabile: È difficile scalare sistematicamente la difficoltà del compito per osservare come le prestazioni del modello si degradano.
Contaminazione dei Dati: I benchmark statici spesso soffrono del fatto che i modelli hanno visto esempi simili durante il pre-addestramento.

Gli autori propongono che i modelli attuali non riescano a scalare il loro calcolo di inferenza (sforzo di ragionamento) in modo appropriato all'aumentare della complessità del compito, ricorrendo spesso al "quiet quitting" (dimissioni silenziose): passando da un ragionamento algoritmico valido a congetture o euristiche superficiali quando i compiti diventano difficili.

2. Metodologia: Il Framework RELIC

Gli autori introducono RELIC (Riconoscimento di Linguaggi in Contesto), un framework progettato per valutare i LLM sul riconoscimento di Linguaggi Liberi dal Contesto (CFL).

Definizione del Compito: Un LLM riceve una specifica Grammatica Libera dal Contesto (CFG) e una stringa. Il modello deve determinare se la stringa appartiene al linguaggio generato da quella grammatica (Accettare/Rifiutare).
Generazione del Benchmark Sintetico (RELIC-500):
- Per garantire la novità e prevenire la contaminazione dei dati, le grammatiche sono generate stocasticamente anziché tratte da un dataset fisso.
- Le grammatiche sono parametrizzate da quattro valori: numero di simboli terminali ( $n'_{term}$ ), simboli non terminali ( $n'_{nonterm}$ ), regole lessicali ( $n'_{lex}$ ) e regole non lessicali ( $n'_{nonlex}$ ).
- Il benchmark include 200 grammatiche con parametri fino a 500, generando stringhe positive (valide) e negative (non valide) di lunghezze fino a 50.
Base Teorica:
- Il riconoscimento CFL è noto per appartenere alla classe di complessità AC1 ed essere NC1-hard.
- L'analisi teorica suggerisce che affinché un Transformer risolva questo problema, la lunghezza della sua Catena di Pensiero (CoT) deve crescere in modo superlineare con la lunghezza della stringa e in modo lineare con la dimensione della grammatica.
- Questo fornisce un "budget" di calcolo ideale teorico contro cui confrontare il comportamento effettivo del modello.

3. Configurazione Sperimentale

Modelli Valutati: Sono stati testati otto LLM, tra cui:
- Proprietari: La famiglia gpt-4.1 di OpenAI (nano, mini, full), o3 e o4-mini.
- Open-Weight: Gemma 3 di Google (1B e 4B) e una versione distillata di DeepSeek-R1.
Protocollo di Valutazione: Prompting zero-shot. Ai modelli è stato chiesto di classificare le stringhe basandosi solo sulle regole grammaticali fornite, senza esempi few-shot.
Metriche di Analisi:
- Accuratezza bilanciata per classe e punteggi Macro F1.
- Correlazione tra prestazioni e complessità della grammatica (dimensione) e lunghezza della stringa.
- Calcolo al Tempo di Test (TTC): Misurazione del numero di token generati durante il ragionamento rispetto alla difficoltà del compito.
- Classificazione della Strategia: Utilizzo di un LLM come giudice (e validazione umana) per categorizzare le tracce di ragionamento come Basate su Regole (derivazione valida) o Euristica/Congettura.

4. Risultati Chiave

A. Degradazione delle Prestazioni con la Complessità

Compiti Piccoli vs Grandi: I modelli si comportano in modo ragionevolmente buono su grammatiche piccole e stringhe corte. Tuttavia, le prestazioni crollano precipitosamente all'aumentare della dimensione della grammatica (in particolare le produzioni non lessicali) e della lunghezza della stringa.
Prestazioni Casuali: Anche i modelli di ragionamento più avanzati (ad esempio o3, o4-mini) scendono a un'accuratezza vicina al caso (circa 50%) su grammatiche con ~500 regole, nonostante queste siano ordini di grandezza più piccole delle grammatiche per linguaggi di programmazione reali.
Bias: I modelli mostrano forti bias di classe (ad esempio, prevedere "Sì" per stringhe lunghe e "No" per quelle corte) anziché analizzare le regole grammaticali.

B. Il Fenomeno del "Quiet Quitting"

Disallineamento del Calcolo: Teoricamente, risolvere istanze più difficili richiede più calcolo (CoT più lunga). Sperimentalmente, i modelli riducono la loro spesa di calcolo man mano che i compiti diventano più difficili.
- Il Calcolo Relativo al Tempo di Test (TTC) raggiunge il picco precocemente (a lunghezze di stringa molto brevi) e poi diminuisce all'aumentare della lunghezza della stringa.
- I modelli smettono di aumentare lo sforzo di inferenza molto prima di raggiungere i loro limiti di token.
Cambio di Strategia: All'aumentare della complessità, i modelli passano da strategie Basate su Regole (costruzione di alberi di parsing) a strategie Euristica (congetture basate sulla lunghezza della stringa o sulla presenza di simboli).
Modelli a Ragionamento Chiuso: Anche i modelli che nascondono le loro tracce di ragionamento (o3, o4-mini) mostrano lo stesso calo nella spesa di calcolo, implicando che anch'essi stanno "dimettendosi silenziosamente" passando a strategie non valide internamente.

C. Limiti del Fine-Tuning

Gli autori hanno eseguito il fine-tuning dei modelli Gemma 3 direttamente sul compito RELIC (coppie grammatica-stringa-etichetta).
Risultato: Il fine-tuning non ha fornito alcun miglioramento statisticamente significativo nelle prestazioni. Ciò suggerisce che il fallimento non è dovuto a una mancanza di familiarità con il compito, ma a un'incapacità fondamentale di eseguire le strategie di ragionamento richieste su larga scala.

D. Correlazione con il Ragionamento Generale

Le prestazioni su RELIC correlano con le prestazioni su benchmark di ragionamento generale (MMLU Pro, GPQA, IFEval). Ciò indica che RELIC è un proxy valido per le capacità generali di ragionamento complesso, non solo per un compito di linguaggio formale di nicchia.

5. Contributi Chiave

Framework RELIC: Un benchmark scalabile, verificabile e resistente alla contaminazione per valutare il ragionamento complesso in contesto utilizzando la teoria dei linguaggi formali.
Evidenza Empirica del "Quiet Quitting": Dimostra che i modelli di ragionamento all'avanguardia non riescono a scalare le loro risorse di calcolo in proporzione alla difficoltà del compito, ricorrendo invece alle euristiche.
Analisi della Strategia: Quantifica il passaggio dal ragionamento algoritmico alla congettura in funzione della complessità, rivelando una fragilità nei modelli di "ragionamento" attuali.
Divario Teorico-Pratico: Evidenzia la disconnessione tra i requisiti di complessità teorica per il riconoscimento CFL (che i Transformer potrebbero teoricamente soddisfare) e il comportamento empirico dei LLM attuali.

6. Significato e Implicazioni

Fragilità del Ragionamento: I risultati mettono in discussione l'idea che i "modelli di ragionamento" (come o3 o o4-mini) abbiano capacità di ragionamento robuste e scalabili. Sembra che facciano affidamento su euristiche che si rompono sotto la complessità.
Paradigma di Valutazione: RELIC offre un modo per valutare il ragionamento "nascosto" nei modelli proprietari osservando il loro comportamento computazionale (utilizzo dei token) piuttosto che solo l'output finale.
Direzioni Future: Il paper suggerisce che aumentare semplicemente la dimensione del modello o i dati di addestramento è insufficiente. I futuri miglioramenti potrebbero richiedere:
- Addestramento su completamenti strutturati (derivazioni guidate).
- Guida esplicita sulle strategie di ragionamento.
- Meccanismi per costringere i modelli a mantenere strategie di ragionamento valide anche quando i compiti diventano difficili, prevenendo il comportamento di "quiet quitting".

In sintesi, il paper sostiene che i LLM attuali non stanno realmente "ragionando" in senso scalabile e algoritmico quando affrontano compiti in contesto complessi e nuovi; invece, ottimizzano per una scorciatoia che fallisce man mano che la complessità del problema cresce.