Riepilogo Tecnico: Chi l'ha Avallato? Misurare il Bias di Autorità tra Livelli di Competenza nei Modelli Linguistici

Enunciato del Problema

Sebbene ricerche precedenti abbiano stabilito che i Modelli Linguistici di Grande Dimensione (LLM) sono suscettibili a suggerimenti, indizi e avalli, la specifica influenza della credibilità della fonte rimane poco esplorata. Studi esistenti sui pregiudizi si concentrano spesso su attributi demografici (genere, razza) o su pregiudizi strutturali (posizione, lunghezza). Tuttavia, non è chiaro come gli LLM elaborino gli avalli basati sullo status professionale percepito della fonte. Nello specifico, il documento indaga se i modelli mostrino un sistematico bias di autorità, in cui deferiscono a personaggi di alto status anche quando questi forniscono informazioni errate, potenzialmente sovrascrivendo le proprie capacità di ragionamento interno.

Metodologia

Gli autori hanno condotto una valutazione completa su quattro dataset che coprono compiti di ragionamento matematico (AQUA-RAT), legale (LEXam) e medico (MedMCQA, MedQA).

Disegno Sperimentale

1. Personaggi e Gradiente di Competenza: Invece di una configurazione binaria "esperto vs non esperto", lo studio ha utilizzato una gerarchia di competenza a quattro livelli per ogni dominio:
   • Scienza: Studente delle superiori → Laureando → Studente di dottorato → Professore.
   • Medicina: Studente del primo anno → Studente del terzo anno → Residente capo → Medico certificato dal consiglio.
   • Diritto: Studente universitario → Studente del terzo anno → Collaboratore legale → Consulente legale senior.
2. Varianti del Prompt: Per ogni Domanda a Scelta Multipla (MCQ), sono state generate nove varianti di prompt:
   • Baseline: Nessun avallo.
   • Avallo Corretto: Un personaggio avalla la risposta corretta.
   • Avallo Errato: Un personaggio avalla una risposta sbagliata.
   • Il formato dell'avvallo era minimale (ad esempio, "Un [Personaggio] pensa che la risposta sia [X]") per isolare l'effetto dell'identità della fonte dallo stile linguistico o dalla giustificazione.
3. Modelli Valutati: Lo studio ha testato 11 modelli, inclusi sia Modelli di Ragionamento (ad esempio, DeepSeek-R1, Phi-4-Reasoning, Qwen3-4B-Thinking) sia Modelli Non di Ragionamento (ad esempio, LLaMA-3.1, Gemma-2/3, Mistral-7B).
4. Metriche:
   • Delta Accuratezza ($\Delta$Acc): Deviazione dall'accuratezza di base.
   • Delta Entropia ($\Delta$H): Variazione della confidenza (minore entropia = maggiore confidenza).
   • Tasso di Robustezza (RR): La frequenza con cui l'output del modello rimane invariato nonostante l'avvallo.

Intervento Meccanistico (Vettore di Sterzata)

Per determinare se il bias di autorità sia codificato internamente piuttosto che essere un trigger superficiale basato su parole chiave, gli autori hanno costruito un vettore di sterzata.

• Costruzione: Hanno generato un dataset di risposte fattualmente corrette scritte negli stili linguistici dei livelli di competenza più alti (ad esempio, Professore) e più bassi (ad esempio, Studente delle superiori), senza alcuna etichetta di personaggio.
• Calcolo del Vettore: Il vettore di sterzata ($v_{auth}$) è stato calcolato come la differenza media nelle attivazioni del flusso residuo tra gli stili di alta e bassa competenza.
• Intervento: Questo vettore è stato sottratto dalle attivazioni del modello durante l'inferenza per testare se la suscettibilità ad avalli fuorvianti potesse essere ridotta.

Risultati Chiave

1. Suscettibilità Gerarchica

I risultati rivelano una chiara relazione monotona tra competenza della fonte e comportamento del modello:

• Avalli Corretti: I guadagni di accuratezza aumentano all'aumentare del livello di competenza dell'avallatore.
• Avalli Errati: Il degrado dell'accuratezza e la confidenza nelle risposte sbagliate aumentano significativamente con livelli di competenza più elevati.
• Modelli di Ragionamento: Contrariamente alle aspettative, i modelli con capacità di catena di pensiero (ad esempio, DeepSeek-R1) non sono immuni. Mostrano un sostanziale degrado dell'accuratezza e un aumento della confidenza negli errori quando fuorviati da fonti di alta autorità (ad esempio, un Medico certificato dal consiglio).

2. Confidenza negli Errori

Gli avalli errati ad alta competenza inducono errori confidenziali. Ad esempio, quando un Medico certificato dal consiglio ha avallato una risposta sbagliata su MedQA, DeepSeek-R1 ha mostrato un calo significativo dell'entropia ($\Delta H = -0.261$), indicando che il modello è diventato più sicuro della risposta errata.

3. Variazioni per Dominio

• Ragionamento Matematico: Ha mostrato i tassi di robustezza più bassi, suggerendo un'alta suscettibilità nonostante la natura oggettiva dei compiti.
• Ragionamento Medico: Ha mostrato una maggiore resistenza al cambiamento delle risposte, riflettendo probabilmente un addestramento specifico del dominio relativo alla cautela medica.

4. Risultati Meccanistici

Gli esperimenti con il vettore di sterzata hanno dimostrato che il bias di autorità è meccanicamente codificato all'interno del flusso residuo del modello.

• Sottrarre il vettore di "competenza" ($v_{auth}$) durante l'inferenza ha recuperato coerentemente l'accuratezza del modello verso i livelli di base quando si è confrontati con avalli fuorvianti di alta autorità.
• Ciò conferma che il bias è legato a una rappresentazione interna robusta della competenza che si generalizza sia attraverso marcatori espliciti di identità sociale (etichette di personaggio) sia attraverso stili linguistici impliciti.

Contributi e Significato

Il documento apporta tre contributi principali:

1. Analisi Granulare del Bias di Autorità: Supera i concetti binari di autorità per dimostrare un pattern gerarchico in cui la suscettibilità del modello scala con il rango percepito dell'avallatore.
2. Vulnerabilità dei Modelli di Ragionamento: Mette in discussione l'assunzione secondo cui i modelli potenziati dal ragionamento sono robusti contro la manipolazione sociale, mostrando che possono essere sviati da avalli errati di alto status.
3. Mitigazione Meccanistica: Fornisce prove che il bias di autorità è una caratteristica codificata linearmente nel flusso residuo. Sottraendo il corrispondente vettore di sterzata, il modello può essere guidato lontano dal bias, migliorando le prestazioni anche quando un esperto fornisce informazioni fuorvianti.

Significato e Limitazioni

Gli autori sostengono che questo lavoro riveli una vulnerabilità critica: gli attuali LLM danno priorità alla credibilità della fonte rispetto alla correttezza semantica. Questo pregiudizio può essere sfruttato in contesti avversari (ad esempio, attacchi di ingegneria sociale) ma può anche essere mitigato attraverso la sterzata delle attivazioni al momento dell'inferenza senza modificare i pesi.

Il documento riconosce le limitazioni, tra cui:

• Gli esperimenti sono stati limitati a modelli open-source fino a 32 miliardi di parametri; i modelli all'avanguardia potrebbero comportarsi diversamente.
• Lo studio ha coperto solo quattro domini (matematica, diritto, medicina).
• Il formato dell'avvallo è stato semplificato (singole affermazioni) e non ha tenuto conto della disinformazione sofisticata del mondo reale.
• L'analisi strato per strato del vettore di sterzata è preliminare, identificando l'efficacia negli strati intermedi ma mancando di un'ablazione sistematica o di una caratterizzazione tramite Sparse Autoencoder (SAE).