Sintesi Tecnica: Fidarsi, ma non Verificare: Punti Ciechi Epistemici nella Valutazione delle Fonti da parte dei LLM

Definizione del Problema

I grandi modelli linguistici (LLM) sono sempre più impiegati come intermediari epistemici, incaricati di sintetizzare prove contrastanti provenienti da molteplici fonti per informare decisioni cruciali in domini che spaziano dalla finanza alla salute pubblica. Mentre studi precedenti hanno documentato la "sycophancy" (compiacenza) — ovvero la tendenza dei modelli a deferire alle preferenze dell'utente piuttosto che all'accuratezza fattuale — una vulnerabilità distinta rimane scarsamente compresa: la capacità del modello di valutare la credibilità delle fonti che sintetizza. Nello specifico, non è chiaro se i modelli possano distinguere tra una metodologia statistica valida e statistiche fabbricate o impossibili quando presentate in un contesto multi-fonte.

Il paper sostiene che i modelli possano ereditare bias cognitivi umani in cui l' "estetica del rigore" (ad esempio, gergo tecnico, numeri precisi) prevale sulla valutazione analitica. Ciò crea il rischio che i modelli trattino statistiche fabbricate come credibili se sono presentate in un registro che imita il rigore analitico, anche quando i numeri sono strutturalmente impossibili.

Metodologia

Gli autori hanno condotto un esperimento comportamentale fattoriale controllato su cinque modelli (delle famiglie Claude, Qwen e OLMo) e tre domini professionali: Venture Capital (VC), Marketing (MKT) e Salute Pubblica (PH).

Disegno Sperimentale

• Task: I modelli agiscono come assistenti IA in una simulata conversazione di lavoro (Slack/Teams) contenente quattro fonti (un'autorità senior, un'istituzione esterna, un analista interno e un riferimento di terze parti).
• Conflitto: La fonte focale (l'analista interno) fornisce una stima che diverge dal consenso delle altre tre fonti.
• Manipolazioni: La presentazione della fonte focale viene variata attraverso sei livelli:
  1. Affermazione nuda (senza metodologia o statistiche).
  2. Metodologia plausibile con statistiche valide.
  3. Metodologia plausibile senza statistiche.
  4. Metodologia plausibile con statistiche strutturalmente impossibili (ad esempio, un intervallo di confidenza al 95% che copre solo 0,06 punti percentuali per n=2.400; p-value al di sotto dei floor di permutazione; correlazioni che eccedono i soffitti di affidabilità della misurazione).
  5. Metodologia speciosa (gergo tecnico inappropriato al dominio) con o senza diagnostica.
• Contesto Sociale: Il grado di consenso sociale è stato variato (da 0 a 3 altre fonti che concordano con la fonte focale).
• Metrica: L' Indice di Preferenza della Fonte (SPI) misura quanto la stima numerica finale del modello si sposti dal consenso verso l'affermazione della fonte focale.

Analisi Meccanicistica

Per spiegare i risultati comportamentali, gli autori hanno impiegato tre tecniche di interpretabilità meccanicistica su Qwen 32B e OLMo 3.1:

1. Probes Lineari: Addestrati per rilevare il "registro metodologico" (testo valido vs. specioso) e la "validità numerica" (numeri impossibili vs. validi) nei flussi residui delle attivazioni. Questi sono stati testati per la transferibilità cross-domain.
2. Causal Tracing: Corruzione degli embedding dei token di presentazione con rumore e ripristino layer per layer per misurare l'importanza causale nel guidare la stima finale.
3. Direct Logit Attribution (DLA): Proiezione dell'output dei layer di attenzione e degli MLP sulla direzione del logit "analista vs. consenso" per quantificare i contributi a livello di componente.

Risultati Chiave

1. Dissociazione Comportamentale: Rilevamento vs. Implementazione

• Isolamento: Quando presentati con una statistica fabbricata in isolamento sotto un prompt di revisione, i modelli rilevano l'errore in modo affidabile (Tassi di Identificazione Corretta di 0,76–1,00 per la metodologia; fino a 1,00 per gli intervalli di confidenza impossibili in VC).
• Sintesi: Nel compito di sintesi multi-fonte, questa capacità crolla. I modelli assegnano un peso identico a fonti con statistiche valide e a fonti con statistiche impossibili.
  • Le statistiche fabbricate recuperano circa il 79% del guadagno di influenza fornito dalle statistiche valide.
  • I modelli spesso segnalano l'impossibilità nel loro ragionamento (Chain-of-Thought), ma comunque sostengono la fonte e spostano la loro stima verso di essa.
  • La metodologia speciosa (gergo senza numeri) ha un'influenza trascurabile, indicando che i modelli sono sensibili alla presenza di un registro metodologico ma non alla sua coerenza interna.

2. Risultati Meccanicistici

• Gate del Registro Metodologico: I probe lineari confermano l'esistenza di una rappresentazione domain-general del "registro metodologico" (testo valido vs. specioso) che si trasferisce tra i domini (AUC 0,83–0,92). Questo segnale è causalmente importante nei primi layer della rete.
• Punto Cieco della Validità Numerica: Sebbene la validità numerica sia decodificabile in isolamento, il segnale crolla al caso (AUC ~0,50) durante la sintesi multi-fonte. Il modello codifica la presenza di numeri, ma non la loro validità.
• Gating del Consenso: Il causal tracing ha rivelato un "gate del consenso". Quando la fonte focale è isolata, i token di presentazione portano un'alta importanza causale. Quando la fonte ha un supporto di maggioranza, l'influenza causale dei token di presentazione (e il conseguente spostamento comportamentale) crolla quasi a zero. Crucialmente, questo gate opera sul segnale di presentazione stesso, non sulla validità dei numeri.
• Attribuzione delle Componenti: Gli MLP (piuttosto che i layer di attenzione) dominano l'elaborazione dei segnali metodologici. Nessuna componente ha trasportato un segnale correttivo per i numerici fabbricati; la rete semplicemente non è riuscita a distinguere tra numeri validi e impossibili nel contesto della sintesi.

3. Limiti di Prompting e Training

• Prompting: I prompt di verifica esplicita, inclusi un "elenco di controllo oracle" che nomina esatti controlli statistici, non sono riusciti a indurre un discernimento selettivo. Hanno prodotto uno "scetticismo generalizzato", riducendo la fiducia sia nelle statistiche valide che in quelle fabbricate, piuttosto che scontare selettivamente queste ultime.
• Traiettoria di Training: L'analisi della traiettoria di training di OLMo ha mostrato che, mentre la discriminazione metodologica migliorava con il post-training (SFT, DPO, RLVR), la discriminazione numerica rimaneva vicina allo zero per tutto il tempo, suggerendo che la vulnerabilità non è un artefatto dell'allineamento delle preferenze, ma un gap fondamentale nell'obiettivo di training.

Significato e Rivendicazioni

Il paper sostiene che i LLM esibiscano una forma di fallimento dell'allineamento epistemico distinta dalla sycophancy. Mentre la sycophancy segue la preferenza dell'utente, questo fallimento segue le "caratteristiche superficiali della presentazione" (il registro metodologico) piuttosto che la coerenza interna delle affermazioni.

• Gap di Vigilanza Epistemica: I modelli possiedono la capacità di verificare la validità numerica (ragionamento tipo System 2), ma non riescono a reclutarla durante la sintesi, affidandosi invece a un euristica veloce e automatica (System 1) che equipara il "registro analitico" alla "credibilità".
• Vulnerabilità Adversariale: Il fallimento è più pronunciato quando il discernimento indipendente è più necessario: quando una fonte è isolata (senza consenso a fungere da ancora per il modello). Un avversario può propagare disinformazione semplicemente adottando il registro della scrittura analitica credibile, poiché lo scetticismo predefinito del modello crolla in assenza di consenso sociale.
• Deployment vs. Capacità: Gli autori concludono che la questione non è se i modelli possano verificare le prove, ma se siano impiegati in modo da condizionare la fiducia alla qualità delle prove piuttosto che allo stile di presentazione. Le attuali pipeline di post-training (RLHF, DPO) rinforzano scorciatoie stilistiche senza costruire meccanismi robusti di verifica numerica.

Il paper non propone specifiche strategie di mitigazione oltre a suggerire che le future pipeline di training potrebbero dover includere dati in cui le premesse sono invalide e richiedono verifica, una forma di supervisione attualmente assente dai processi di allineamento standard.