Schema for In-Context Learning

1. Il Problema: Schema Dormancy (Dormienza dello Schema)

Il paper identifica una limitazione fondamentale nell'Apprendimento in Contesto (In-Context Learning - ICL) degli attuali Large Language Models (LLM). Sebbene l'ICL permetta ai modelli di eseguire compiti senza aggiornamenti dei parametri, spesso falliscono nel ragionamento astratto, affidandosi invece a scorciatoie superficiali basate sulla similarità lessicale o superficiale.

Gli autori definiscono questo fenomeno come Schema Dormancy (Dormienza dello Schema):

• Definizione: È il fenomeno per cui un LLM non riesce ad attivare spontaneamente un modello di ragionamento astratto rilevante (schema) durante l'inferenza, nonostante dimostri di possedere la capacità di utilizzarlo se esplicitamente sollecitato.
• Conseguenza: Senza l'attivazione di uno schema, il modello non riesce a organizzare il contesto in modo strutturato, portando a errori di ragionamento anche quando sono forniti esempi di alta qualità. Questo è analogo a quanto osservato in psicologia cognitiva (es. esperimento della "Lavatrice" di Bransford e Johnson), dove la comprensione umana migliora drasticamente quando viene attivato lo schema mentale corretto.

2. Metodologia: Schema-Activated ICL (SA-ICL)

Per risolvere il problema della dormienza, gli autori propongono SA-ICL, un framework che esplicita e attiva uno schema astratto prima di presentare la query al modello. Il metodo è ispirato alla Teoria degli Schemi della psicologia cognitiva e si basa su un processo in cinque fasi (workflow):

1. Rappresentazione Latente del Problema: Il modello genera una rappresentazione iniziale del problema di input ($S_x$).
2. Recupero e Selezione dello Schema: Il sistema recupera dallo spazio delle conoscenze lo schema predefinito ($\hat{S}$) più simile alla rappresentazione del problema. Gli autori utilizzano template di ragionamento esistenti (es. Chain-of-Thought, Least-to-Most, Step-Back) come schemi base.
3. Recupero di Esempi Episodici: Basandosi sullo schema selezionato, il sistema recupera un sottoinsieme di esempi passati (episodi) che hanno un peso di associazione superiore a una soglia specifica ($\tau$). Questo simula il recupero della memoria episodica umana.
4. Attivazione dello Schema (Assimilazione/Accomodamento): Lo schema recuperato e gli esempi episodici vengono integrati con la rappresentazione del problema corrente per creare uno schema attivato e raffinato ($S_{new}$). Questo passaggio può richiedere una ristrutturazione interna (accomodamento) se lo schema preesistente non si adatta perfettamente.
5. Inferenza Guidata dallo Schema: Il modello LLM risolve il compito condizionando l'input sia alla domanda originale che allo schema attivato ($S_{new}$), producendo una risposta strutturata.

Algoritmo Chiave: Il processo è formalizzato matematicamente (Algoritmo 1 nel paper) e include un meccanismo di pesatura temporale che simula l'oblio esponenziale, riducendo l'impatto degli esempi meno recenti o meno pertinenti.

3. Contributi Chiave

• Identificazione della Dormienza: Dimostrazione empirica che i modelli LLM soffrono di "dormienza dello schema" e che l'attivazione esplicita è necessaria per sbloccare il ragionamento strutturato.
• Framework Unificato SA-ICL: Un approccio che unifica diverse strategie di prompting (CoT, Least-to-Most, ecc.) sotto un unico paradigma cognitivo, trasformando l'ICL da un semplice matching di pattern a un processo di ragionamento basato su astrazioni.
• Analisi Meccanicistica: Dimostrazione attraverso l'analisi degli strati di attenzione che l'attivazione dello schema riduce l'entropia dell'attenzione, focalizzando i "testine di induzione" (induction heads) su concetti strutturali piuttosto che su correlazioni superficiali.
• Robustezza: Il metodo dimostra di essere robusto contro il rumore nel recupero e contro esempi non pertinenti (disruption dello schema), superando i metodi tradizionali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sette modelli diversi (inclusi GPT-4o, DeepSeek-R1-Distill-Llama, Llama-3.1) su tre domini principali: Scienza (GPQA-Diamond), Statistica (MMLUProStat) e Finanza (MMLUProFinance).

• Performance Generale: SA-ICL ha superato costantemente le baseline "One-Shot" e "One-Shot + Chain-of-Thought" (CoT).
  • Miglioramento medio globale: +5.1% (p-value < 0.001).
  • In scenari ad alta densità di conoscenza (esempi "Essentially Same"), SA-ICL ha mostrato un vantaggio significativo, con un miglioramento fino al 6.5% rispetto alle baseline.
• Impatto per Dominio:
  • Scienza: +4.9% di miglioramento significativo.
  • Statistica: +6.4% di miglioramento significativo.
  • Finanza: +4.3% di miglioramento significativo.
• Robustezza al Rumore: Quando gli esempi di contesto erano irrilevanti (es. una domanda di biologia usata per risolvere problemi di chimica), SA-ICL ha mostrato una degradazione delle prestazioni inferiore rispetto alle baseline, indicando una migliore capacità di filtrare il "Schema Disruption".
• Efficienza dei Token: In alcuni casi, SA-ICL ha prodotto risposte corrette con un numero inferiore di token rispetto al CoT tradizionale, suggerendo un ragionamento più diretto ed efficiente.
• Analisi dei Modelli: Il metodo è risultato particolarmente efficace per modelli di dimensioni medie (es. Llama-3.1, DeepSeek), mentre modelli molto grandi (come GPT-4o) hanno mostrato guadagni minori, suggerendo che i modelli più grandi potrebbero essere già più rigidi nei loro pattern di ragionamento interni.

5. Significato e Implicazioni

Il paper offre un cambio di paradigma fondamentale per l'interazione con gli LLM:

1. Dall'Esempio all'Astrazione: Sposta il focus dall'uso passivo di esempi (few-shot) all'attivazione attiva di strutture cognitive astratte. Questo colma il divario tra come gli umani apprendono (strutturando la conoscenza) e come i modelli LLM processano i prompt.
2. Interpretabilità: Fornisce una finestra sul "ragionamento" dei modelli, mostrando che l'attivazione di uno schema modifica fisicamente la dinamica dell'attenzione, rendendo il processo più interpretabile e controllabile.
3. Futuro dell'ICL: Suggerisce che il prossimo fronte dell'ICL non sarà semplicemente aggiungere più esempi o contesti più lunghi, ma progettare architetture che coltivino e attivino dinamicamente "schemi cognitivi latenti" durante l'inferenza.

In sintesi, SA-ICL dimostra che replicare i meccanismi cognitivi umani di attivazione degli schemi permette agli LLM di superare i limiti del ragionamento superficiale, migliorando significativamente l'accuratezza e la robustezza in compiti complessi di scienza, statistica e finanza.