Language Models Should be Used to Surface the Unwritten Code of Science and Society

Sintesi Tecnica: I Modelli Linguistici Dovrebbero Essere Utilizzati per Far Emergere il Codice Non Scritto della Scienza e della Società

Definizione del Problema
I grandi modelli linguistici (LLM) inevitabilmente assorbono e riflettono i pregiudizi umani incorporati nei loro dati di addestramento. Mentre la ricerca esistente si concentra sull'identificazione e la mitigazione di questi bias, questo articolo sostiene un cambio di paradigma: sfruttare i bias degli LLM come strumenti diagnostici per scoprire e articolare il "codice non scritto" della società. Questi codici non scritti consistono in norme tacite, stereotipi impliciti e convenzioni sottili (ad esempio, le preferenze narrative nella revisione tra pari) che influenzano invisibilmente le dinamiche sociali ma che resistono alla formalizzazione perché raramente esplicitate dagli attori umani. La sfida centrale è che gli attuali metodi spesso emergono solo bias superficiali (prior) o non riescono a recuperare strutture euristiche più profonde che si attivano durante i processi di ragionamento.

Metodologia
Gli autori propongono un quadro concettuale per estrarre e articolare esplicitamente questi codici non scritti attraverso un processo iterativo di generazione di ipotesi, dimostrato tramite un caso studio sulla revisione tra pari di 26.731 articoli in 46 conferenze accademiche.

1. Preparazione dei Dati: Lo studio utilizza metadati, punteggi di revisione e commenti di revisione provenienti da OpenReview e Paper Copilot. Il contenuto dei paper è rappresentato tramite abstract estesi (generati da GPT-4o) contenenti contesto di base, idee chiave, metodologia e impatto, piuttosto che testi completi, per garantire che i meccanismi di attenzione si concentrino su informazioni rilevanti e mitigare le allucinazioni.
2. Costruzione a Coppie: Viene costruito un dataset di coppie di paper in cui un paper ha ricevuto un punteggio di revisione significativamente più alto dell'altro (superando una deviazione standard).
3. Framework di Generazione delle Ipotesi:
   • Estrazione dei Prior: L'LLM è istruito per generare ipotesi che spieghino perché un paper sia più forte di un altro senza input di dati specifici. Queste rappresentano i "prior normativi" del modello (ad esempio, il rigore teorico).
   • Ricerca Iterativa (Aggiornamento del Posterior): Al modello viene presentato un set di dati a coppie effettivi. Esso genera ipotesi per spiegare le differenze di punteggio osservate. Per i casi in cui le ipotesi iniziali non riescono a spiegare i dati ("casi non spiegati"), il modello genera iterativamente nuove ipotesi distinte. Questo processo continua finché i casi non spiegati scendono sotto il 5%.
   • Raffinamento della Self-Consistency: Le ipotesi generate vengono applicate all'intero dataset. Il modello valuta il grado in cui ogni ipotesi spiega la differenza di punteggio, producendo un'etichetta binaria e un punteggio di confidenza. Uno schema di voto pesato sulla confidenza aggrega questi giudizi per garantire l'affidabilità.
4. Validazione Umana: I commenti di revisione umana vengono annotati (utilizzando GPT-4o ed esperti umani) per determinare se aspetti specifici (ipotesi) siano menzionati esplicitamente. Ciò consente un confronto tra ciò che gli umani dicono (menzioni esplicite) e ciò che fanno (allocazione dei punteggi).

Risultati Chiave
Lo studio rivela una netta divergenza tra i "prior" (ciò che i modelli e gli umani dichiarano di valorizzare) e i "posterior" (ciò che effettivamente guida le decisioni in presenza di dati).

• Logiche Divergenti: Gli LLM inizialmente generano ipotesi allineate ai valori normativi della scienza (ad esempio, il rigore teorico). Tuttavia, man mano che la ricerca iterativa procede per spiegare i casi difficili, il modello vira verso ipotesi centrate su storytelling, contestualizzazione e connessioni esterne. Queste ipotesi successive mostrano un maggiore potere esplicativo e una maggiore confidenza del modello.
• Il Codice Non Scritto: Si osserva un aggiornamento sistematico dai prior ai posterior. Le ipotesi relative al "rigore interno" diminuiscono in frequenza dal prior al posterior, mentre quelle relative allo "storytelling" e alla "rilevanza interdisciplinare" aumentano significativamente.
• Gap di Allineamento Umano-LLM:
  • I commenti di revisione umana si allineano con i prior dell'LLM (correlazione = 0,49), discutendo esplicitamente del rigore teorico.
  • I commenti umani non si allineano con i posterior dell'LLM (correlazione = –0,14). Nonostante premino implicitamente lo storytelling e la contestualizzazione con punteggi più alti, i revisori umani raramente articolano questi fattori nei loro feedback scritti.
  • Il "codice non scritto" (storytelling) spiega una parte significativa della varianza nei punteggi (colmando il vuoto lasciato dai criteri espliciti) ma rimane non riportato nel feedback umano.
• Robustezza: Questi pattern si mantengono attraverso diverse architetture di LLM (open e closed source), dati out-of-sample e rappresentazioni alternative dei paper.

Contributi Chiave

1. Framework Concettuale: L'articolo introduce un metodo per "auto-rinforzare" e amplificare i bias all'interno degli LLM per forzare l'articolazione di euristiche nascoste. Spingendo i modelli a generare ipotesi auto-coerenti per decisioni non spiegate, il framework fa emergere regole tacite che gli esseri umani non sono in grado o non vogliono dichiarare.
2. Evidenza Empirica di Norme Tacite: Fornisce prove quantitative del fatto che la revisione tra pari scientifica si basa pesantemente su criteri non scritti (storytelling, posizionamento) che contraddicono i norme espliciti (rigore) citati nelle revisioni.
3. Proposta di Strumento Diagnostico: Gli autori propongono di utilizzare gli LLM non come giudici automatizzati, ma come strumenti diagnostici per far emergere il divario tra l'articolazione esplicita e la ricompensa implicita, permettendo la discussione pubblica sui valori rivelati.

Significato e Rivendicazioni
L'articolo sostiene che il valore primario di questo lavoro non risiede nell'automatizzare il giudizio, ma nel rendere visibile l'invisibile. Sfruttando lo "shift cognitivo" dal prior al posterior negli LLM, i ricercatori possono identificare il "curriculum nascosto" dei sistemi di valutazione sociale.

Gli autori sostengono che la trasparenza riguardo a questi codici non scritti è essenziale per l'equità. Attualmente, queste regole nascoste avvantaggiano chi è già familiare con esse (ad esempio, i ricercatori provenienti da istituzioni d'élite). Rendere espliciti questi codici non fornisce semplicemente un "trucco" o una guida, ma permette ai gruppi marginalizzati di comprendere le barriere nascoste e consente alle istituzioni di riflettere e rivedere tali standard. L'articolo conclude che l'implementazione dovrebbe concentrarsi sulla progettazione di sistemi che registrino e confrontino le euristiche implicite rispetto ai criteri espliciti, favorendo un approccio più preciso e responsabile all'IA nelle valutazioni ad alto impatto.