In-Context Examples Suppress Scientific Knowledge Recall in LLMs

1. Enunciato del Problema

Il paper indaga un fenomeno controintuitivo nei Modelli Linguistici di Grandi Dimensioni (LLM) applicati al ragionamento scientifico: l'Apprendimento in Contesto (ICL) può sopprimere, anziché rafforzare, la conoscenza scientifica pre-addestrata di un modello.

Sebbene l'ICL sia ampiamente utilizzato per migliorare le prestazioni fornendo esempi, gli autori ipotizzano che per compiti che richiedono il recupero di strutture latenti (inferire parametri nascosti dai dati prima di applicare una legge di dominio), l'aggiunta di esempi sposti la strategia di ragionamento del modello. Invece di recuperare e applicare la formula scientifica corretta dai suoi pesi pre-addestrati (Derivazione Guidata dalla Conoscenza), il modello si sposta verso un Adattamento Guidato dagli Esempi (approssimazione delle mappature input-output tramite riconoscimento di pattern).

Crucialmente, questa soppressione si verifica anche quando gli esempi in contesto sono generati dalla stessa identica formula scientifica che il modello già conosce, il che significa che non vi è alcun conflitto tra gli esempi e la conoscenza precedente del modello.

2. Metodologia

Costruzione del Benchmark

Gli autori hanno costruito un benchmark bilanciato per difficoltà composto da 60 compiti di recupero di strutture latenti attraverso cinque domini scientifici:

• Domini: Biologia, Chimica, Economia, Fisica e Geoscienze (12 compiti per dominio).
• Struttura del Compito: Ogni compito segue un'architettura specifica: $X \to \Theta \to Y$.
  • $X$ (Osservabili): Dati grezzi forniti al modello.
  • $\Theta$ (Variabili Latenti): Parametri nascosti (es. costanti di reazione, moduli elastici) che devono essere inferiti utilizzando leggi di dominio.
  • $Y$ (Target): La quantità finale da calcolare utilizzando i parametri inferiti.
• Complessità: I compiti variano nel numero di osservabili, variabili latenti e formati di equazione (lineari, non lineari, frazionari, ecc.) per garantire che i risultati non siano artefatti di specifici tipi di equazioni.

Impostazione Sperimentale

• Modelli: Gli esperimenti sono stati condotti su quattro modelli: GPT-5.2 (principale), Claude Sonnet 4.6, Llama 4 Maverick e DeepSeek V3.2.
• Condizioni:
  • Zero-Shot: Il modello risolve il compito utilizzando solo il ragionamento a Catena di Pensiero (CoT) senza esempi.
  • 10-Shot: Al modello vengono forniti 10 coppie input-output generate dalla stessa formula sottostante del caso di test (non vengono fornite derivazioni intermedie).
• Classificazione della Strategia: Un classificatore automatizzato (validato da annotatori umani con un accordo del 98%) categorizza la traiettoria CoT del modello in tre modalità:
  1. Parametrica ($S_{know}$): Recupera una formula nominata e deriva la risposta algebricamente.
  2. Empirica ($S_{emp}$): Adatta un pattern agli esempi senza invocare leggi di dominio.
  3. Ibrida: Utilizza una formula ma calibra i coefficienti basandosi sugli esempi.

Analisi Aggiuntive

• Distrattore Semantico: Sostituzione del vocabolario specifico di dominio (es. "Surplus del Consumatore" $\to$ "Gamma Rad") per testare se il richiamo della conoscenza si basa su indizi superficiali.
• Rappresentazioni Interne: Analisi degli stati nascosti di modelli open-source (Qwen, Mistral, Llama) per osservare gli spostamenti nello spazio delle rappresentazioni.
• Interventi: Test di tecniche di prompting strutturale (es. forzare la dichiarazione della formula, prompting negativo contro l'adattamento) per vedere se lo spostamento può essere mitigato.

3. Contributi Chiave

1. Scoperta dello Spostamento della Conoscenza: Gli autori dimostrano che l'aggiunta di esempi in contesto coerenti sposta costantemente il calcolo dalla derivazione guidata dalla conoscenza ($S_{know}$) verso l'adattamento guidato dagli esempi ($S_{emp}$) in tutti i domini.
2. Framework di Competizione delle Strategie: Propongono un framework che spiega perché gli effetti sull'accuratezza variano. Lo spostamento è uniforme, ma la conseguenza dipende dal divario di qualità tra la strategia spostata (conoscenza pre-addestrata) e la strategia di sostituzione (adattamento empirico).
3. Benchmark Completo: Un nuovo benchmark di 60 compiti progettato specificamente per rendere osservabile la competizione tra ragionamento scientifico e adattamento di pattern, coprendo diverse complessità strutturali.

4. Risultati Chiave

A. Spostamento Uniforme della Strategia, Accuratezza Divergente

L'aggiunta di 10 esempi ha ridotto la quota di traiettorie Parametriche ($S_{know}$) di 6–20 punti percentuali attraverso tutti i domini. Tuttavia, l'impatto sull'accuratezza finale è variato significativamente:

• Economia: L'accuratezza è diminuita significativamente (−15,7pp). Qui, $S_{know}$ era la strategia superiore (88,3% di accuratezza). Lo spostamento verso l'adattamento empirico (41,7% di accuratezza) ha causato una massiccia perdita di prestazioni.
• Geoscienze: L'accuratezza sembra essere migliorata (+13,3pp). Qui, $S_{know}$ era debole (49,2% di accuratezza) perché il modello spesso ricordava la formula corretta ma utilizzava parametri di default errati. Lo spostamento verso l'adattamento empirico ha permesso al modello di interpolare correttamente dagli esempi, mascherando la perdita di ragionamento scientifico.
• Fisica e Biologia: L'accuratezza è rimasta relativamente piatta. In Fisica, lo spostamento è stato piccolo; in Biologia, la strategia empirica si è trovata a performare in modo simile a quella parametrica.

Conclusione: Il modello non abbandona selettivamente la conoscenza dove è errata; la abbandona ovunque, indipendentemente dal fatto che la nuova strategia sia migliore o peggiore.

B. Meccanismo: Richiamo Attivato dal Vocabolario

L'esperimento del Distrattore Semantico ha rivelato che $S_{know}$ è attivato dal vocabolario superficiale (parole chiave di dominio) piuttosto che da un'analisi matematica profonda.

• Quando i termini di dominio sono stati sostituiti con pseudonimi, l'accuratezza Zero-Shot è crollata (al 3–14%).
• Tuttavia, le prestazioni 10-Shot si sono parzialmente riprese (al 22–40%), dimostrando che $S_{emp}$ opera su pattern numerici indipendenti dal vocabolario.
• Implicazione: La mera presenza di esempi numerici attiva il percorso empirico, sovrascrivendo il percorso della conoscenza attivato dal vocabolario.

C. Convergenza delle Rappresentazioni Interne

L'analisi degli stati nascosti ha mostrato che, in condizioni 10-shot, gli spazi di rappresentazione di domini diversi convergono.

• In Zero-Shot, i domini occupavano regioni distinte (attivando circuiti specifici di dominio).
• In 10-Shot, i domini si sono avvicinati, in particolare le Geoscienze, che hanno mostrato lo spostamento più forte. Ciò suggerisce che il modello passa a un circuito di adattamento di pattern agnostico al dominio quando sono presenti esempi.

D. Fallimento della Mitigazione

Gli interventi standard di prompting (es. nominare esplicitamente la formula, prompt negativi contro l'adattamento) non sono riusciti a prevenire universalmente lo spostamento. Quando la conoscenza pre-addestrata era la strategia ottimale (Economia), nessuna quantità di esempi coerenti ha potuto recuperare la prestazione persa dalla mera presenza di quegli esempi.

5. Significato e Implicazioni

• Avvertenza per i Praticanti: Il paper avverte che nelle applicazioni scientifiche, fornire esempi in contesto può spostare la stessa conoscenza che intendono supportare. Fare affidamento esclusivamente sull'accuratezza end-to-end è pericoloso, poiché può mascherare la perdita di ragionamento scientifico (ad esempio, in Geoscienze, il modello ha dato la risposta giusta per il motivo sbagliato).
• Natura del Ragionamento Scientifico negli LLM: Lo studio suggerisce che il ragionamento scientifico degli LLM è spesso basato sul riconoscimento (attivato da parole chiave) piuttosto che basato sul ragionamento (derivazione matematica). Questo lo rende fragile e facilmente sovrascritto dalla scorciatoia computazionale del matching di pattern.
• Apprendimento di Scorciatoie più Ampie: Questo fenomeno è inquadrato come un esempio di "apprendimento di scorciatoie", dove i modelli ricorrono alla strategia computazionalmente più facile disponibile (adattamento degli esempi) piuttosto che a quella più fondata (derivazione dalle leggi), anche quando la scorciatoia è subottimale.
• Direzioni Future: Gli autori chiedono studi meccanicistici (es. patching delle attivazioni) per identificare i circuiti specifici responsabili di questa competizione e per nuove metriche di valutazione che possano distinguere tra successo "guidato dalla conoscenza" e successo "guidato dagli esempi".