Ontology-constrained multi-LLM scoring of hypothesis support in the predictive processing literature

Sintesi Tecnica: Valutazione di supporto alle ipotesi tramite multi-LLM vincolata da ontologia nella letteratura del processamento predittivo

Problematica
Campi interdisciplinari come le neuroscienze del codifica predittiva affrontano un "problema di frammentazione". La letteratura spazia dalla teoria computazionale, l'elettrofisiologia, l'imaging e il comportamento, spesso intrecciando formalismi matematici con fondamenta filosofiche all'interno di singole pubblicazioni. Questa eterogeneità crea un collo di bottiglia per la sintesi: la meta-analisi convenzionale fatica a scalare perché richiede uno spazio di confronto unificato e paradigmi identici, che sono spesso assenti in questo dominio. Le revisioni qualitative, pur essendo preziose, sono laboriose, difficili da auditare e non riescono a comprimere dati eterogenei in variabili quantitative comparabili. Inoltre, la terminologia all'interno del codifica predittiva (ad esempio, predizione, errore, sorpresa) è utilizzata in modo incoerente tra i vari sottocampi, complicando l'identificazione del supporto empirico per specifiche ipotesi.

Metodologia
Gli autori propongono una pipeline locale multi-LLM progettata per la sintesi della letteratura vincolata da ontologia. Il sistema opera attraverso le seguenti fasi:

1. Framework Ontologico: È stato definito manualmente un glossario canonico di 36 fattori, raggruppati in tre ipotesi centrali:

   • H1 (Soppressione Predittiva): Gli input attesi sono soppressi o affinati.
   • H2 (Propagazione dell'Errore Feedforward): I mismatch imprevisti si propagano in avanti attraverso le gerarchie corticali.
   • H3 (Ubiquità): Il codifica predittiva è un algoritmo corticale universale.
     Questi fattori sono ulteriormente vincolati da scope contestuali (Oddball Locale vs. Oddball Globale).

2. Ingestione e Processamento dei Dati:

   • Corpus: 31 studi (teorici, neurofisiologici, di imaging e di modellazione) che spaziano dal 1982 al 2025.
   • Estrazione Multimodale: Il testo viene analizzato deterministicamente e le figure vengono analizzate utilizzando un modello Vision-Language locale (VLM, gemma-3-9b-it) per estrarre tendenze statistiche ed evidenze visive, che vengono intercalate nel testo dello studio.
   • Prompt Engineering: Uno strato di istruzioni guida i modelli ad agire come neuroscienziati, assegnando un punteggio a ciascun fattore su una scala da -1 (contraddizione) a +1 (accordo), con 0 per risultati neutrali e "null" per fattori non affrontati. Fondamentalmente, i modelli devono fornire un registro di ragionamento auditabile citando testi o figure specifiche per i punteggi non nulli.

3. Consiglio Multi-Agente: Dieci modelli linguistici locali indipendenti (LLM) operano in parallelo per valutare il corpus. Questo approccio a "consiglio" permette di misurare il disaccordo tra i modelli e ridurre l'influenza dei bias o delle lacune specifiche di un singolo modello.

4. Metriche Quantitative:

   • Consistenza degli Agenti (AC): Misura la differenza media quadratica (MSD) tra i modelli per valutare l'accordo inter-modello.
   • Consistenza della Letteratura (LC): Misura la MSD tra gli studi per identificare punti di consenso centrale o outlier.
   • Temperatura dello Spazio delle Ipotesi ($T_H$): Una metrica geometrica innovativa definita come il volume dell'ellissoide minimo circoscritto dei punti di studio diviso per il numero di punti ($V_{env}/n$). Una temperatura più bassa indica una letteratura compatta e consensuale; una temperatura più alta indica dispersione e disaccordo teorico.
   • Analisi Vettoriale: Calcola lo spostamento direzionale degli studi tra i contesti di Oddball Locale e Globale.

Risultati Chiave

• Supporto Dipendente dal Contesto: Il consiglio ha trovato un alto accordo per H1 e H2 nei contesti di Oddball Locale (Punteggi medi ~0.46–0.51). Tuttavia, il supporto è diminuito significativamente per i contesti di Oddball Globale in tutte le ipotesi, con il declino più pronunciato osservato in H2 (Propagazione dell'Errore Feedforward, shift di -0.158).
• Ipotesi di Ubiquità (H3): Questa ipotesi ha ricevuto l'accordo più basso in assoluto (Media = 0.23), suggerendo prove limitate nella letteratura per meccanismi di codifica predittiva che si generalizzano ampiamente nel cervello.
• Consistenza dei Modelli: I 10 modelli hanno mostrato un alto accordo interno (Media AC = 0.11), significativamente inferiore ai baseline di rimescolamento casuale (0.67), indicando che la pipeline produce punteggi stabili e riproducibili.
• Geometria della Letteratura:
  • Contesto Locale: Gli studi si sono raggruppati in una regione compatta dello spazio ipotetico 3D, indicando un forte consenso.
  • Contesto Globale: La letteratura è diventata più dispersa. La "Temperatura dello Spazio delle Ipotesi" è stata significativamente più alta per gli Oddball Globali (0.00348) rispetto agli Oddball Locali (0.00114), anche escludendo gli outlier.
  • Rilevamento Outlier: Lo studio di Westerberg, Xiong, et al. (2025) è stato identificato come un outlier geometrico, particolarmente nel contesto di Oddball Globale, mostrando una forte divergenza dalle tendenze dominanti della letteratura.
• Spostamenti Vettoriali: Il movimento vettoriale medio dal contesto Locale a quello Globale ha puntato lontano dall'ottante (+1, +1, +1), confermando visivamente che la letteratura supporta il codifica predittiva più fortemente nei contesti sensoriali locali che in quelli globali e basati su regole.

Significatività e Rivendicazioni
L'articolo sostiene che i consigli locali multi-LLM possono produrre misurazioni di disaccordo auditabili che mappano letterature scientifiche eterogenee in spazi di evidenza quantitativi. Vincolando i modelli con un glossario esperto e richiedendo registri di ragionamento basati su evidenze, il framework trasforma le revisioni della letteratura qualitative in una "costellazione geometrica" di supporto scientifico.

Gli autori sostengono che questo approccio affronti i limiti di scalabilità della sintesi manuale e i limiti dello spazio di confronto della meta-analisi tradizionale. Il framework permette la:

1. Cartografia Quantitativa: Tradurre dibattiti scientifici astratti in variabili misurabili (ad esempio, temperatura, vettori).
2. Identificazione degli Outlier: Identificare geometricamente gli studi che divergono dalle ipotesi stabilite.
3. Replicabilità: Fornire una pipeline di esecuzione locale trasparente dove i file intermedi, i prompt e i registri di ragionamento sono ispezionabili, evitando la "scatola nera" delle API cloud.

Lo studio conclude che, sebbene la letteratura del codifica predittivo supporti un consenso sulla soppressione predittiva locale, essa presenta un disaccordo strutturato riguardo alle affermazioni di ubiquità ampia e alla propagazione dell'errore feedforward globale. Il framework è presentato non come un sostituto dell'interpretazione esperta, ma come uno strumento per comprimere dati eterogenei in uno spazio strutturato dove i cambiamenti teorici e gli outlier empirici possono essere tracciati oggettivamente.