Sintesi Tecnica: I Modelli Linguistici di Grande Dimensione Pianificano le Posizioni delle Risposte?

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) e i Modelli Vision-Language (VLM) sono sempre più utilizzati per generare Domande a Scelta Multipla (MCQ) per la valutazione educativa, la comprensione del testo e la risposta a domande visive. Idealmente, le risposte corrette nelle MCQ generate dovrebbero essere distribuite uniformemente tra le opzioni (A, B, C, D) per garantire una valutazione imparziale. Tuttavia, le osservazioni empiriche indicano che questi modelli mostrano sistematiche distorsioni di posizione, favorendo in modo sproporzionato posizioni specifiche delle risposte (ad esempio, una "distorsione di primazia" verso l'opzione A o una "distorsione centrale" verso B/C).

Mentre ricerche precedenti hanno stabilito che gli LLM soffrono di distorsione di selezione durante la fase di inferenza (favorendo identificatori di opzioni specifici quando rispondono), non è ancora chiaro se distorsioni simili sorgano durante lo stesso processo di generazione. Nello specifico, è sconosciuto se gli LLM mostrino preferenze posizionali coerenti quando costruiscono MCQ e se queste preferenze siano guidate da rappresentazioni interne che "pianificano" implicitamente la posizione della risposta prima di generare le opzioni.

Metodologia

Gli autori propongono un framework composto da tre componenti per investigare la distorsione di posizione, i suoi meccanismi sottostanti e la potenziale controllabilità:

1. Compiti di Generazione di MCQ Controllati:
   Lo studio valuta 10 LLM e 5 VLM attraverso tre scenari di generazione distinti:

   • MCQ basata su Conoscenza (K-MCQ): Generazione di domande in cinque discipline (Matematica, Chimica, Storia, Geografia, Biologia).
   • MCQ di Comprensione del Lettura (RC-MCQ): Generazione di domande basate su articoli di giornale.
   • MCQ Vision-Language (VL-MCQ): Generazione di domande basate su immagini astratte derivate dalle descrizioni del dataset COCO.
     Gli autori standardizzano il formato di output (opzioni A–D) e specificano esplicitamente la risposta corretta per garantire che le distorsioni osservate derivino dal modello e non da artefatti del compito.

2. Sondaggio per la Pianificazione Implicita:
   Per determinare se le posizioni delle risposte sono codificate durante la generazione, gli autori addestrano classificatori leggeri (sonde MLP) sulle rappresentazioni nascoste a livello di token del testo della domanda. L'obiettivo è prevedere la posizione della risposta corretta finale ($y \in \{1, \dots, K\}$) dagli stati nascosti del testo ($H^{(l)}_x$) prima che vengano generate le opzioni. Questo testa l'ipotesi che il modello esegua una pianificazione in avanti implicita.

3. Sterzo dell'Attivazione (Intervento):
   Per stabilire un legame causale tra le rappresentazioni interne e la posizione della risposta, gli autori applicano lo sterzo dell'attivazione al momento del decoding. Costruiscono vettori di sterzo utilizzando due metodi:

   • Differenza di Media: Calcolando la differenza vettoriale tra gli stati nascosti medi associati a una posizione sorgente (ad esempio, A) e una posizione target (ad esempio, B).
   • Basato su Classificatore: Utilizzando il vettore dei pesi di un classificatore di regressione logistica addestrato per distinguere tra posizioni sorgente e target.
     Questi vettori vengono aggiunti agli stati nascosti a livelli e posizioni di token specifici (ad esempio, il penultimo token del testo) per manipolare la traiettoria di generazione.

Risultati Chiave

1. Distorsione Sistematica di Posizione

In tutti e tre i compiti e in diverse famiglie di modelli (inclusi Llama, Qwen, DeepSeek e Gemini), i modelli mostrano distorsioni di posizione strutturate.

• Pattern Specifici del Modello: I modelli Llama favoriscono costantemente l'opzione "A" (distorsione di primazia), mentre le varianti Qwen e DeepSeek spesso preferiscono "B", e i modelli Gemini mostrano una tendenza verso "B" e "C".
• Sottorappresentazione: L'opzione "D" è sistematicamente sottorappresentata in quasi tutti i modelli.
• Influenza degli Identificatori: Rimuovere gli identificatori espliciti delle opzioni (A/B/C/D) non elimina la distorsione; al contrario, spesso esacerba la preferenza per la prima posizione, suggerendo che, sebbene gli identificatori forniscano indizi, la distorsione è guidata anche da preferenze intrinseche di ordinamento.

2. Evidenza di Pianificazione Implicita

Gli esperimenti di sondaggio rivelano che le rappresentazioni nascoste nel testo della domanda codificano segnali predittivi della posizione della risposta corretta.

• Prevedibilità: I classificatori addestrati sulle rappresentazioni del testo raggiungono punteggi macro-F1 significativamente superiori alle linee di base casuali e di maggioranza, indicando che le informazioni sulla posizione della risposta sono codificate all'inizio del processo di generazione.
• Emergenza per Livello: I segnali predittivi sono distribuiti su molti livelli piuttosto che confinati agli ultimi livelli. In alcuni modelli (ad esempio, Qwen3-30B-Thinking), segnali forti emergono nei livelli intermedi (24–36).
• Posizione del Token: Le prestazioni predittive sono generalmente più elevate per i token successivi nel testo, in particolare l'ultimo token, suggerendo che le informazioni posizionali diventano più accessibili man mano che l'integrazione contestuale si approfondisce.

3. Controllabilità tramite Sterzo dell'Attivazione

Gli esperimenti di intervento dimostrano che le posizioni delle risposte possono essere manipolate causalmente.

• Efficacia: Sterzare gli stati nascosti da una posizione sorgente (A) a una posizione target (B) sposta con successo la distribuzione delle risposte generate.
• Iniezione Ottimale: Gli interventi applicati al penultimo token del testo della domanda producono effetti più forti e stabili rispetto a quelli sull'ultimo token (spesso un segno di punteggiatura).
• Sensibilità al Livello: Il metodo della Differenza di Media mostra la massima efficacia nei livelli intermedi (ad esempio, livelli 11–15), ottenendo spostamenti superiori al 22% (A→B).
• Compromessi: Sebbene lo sterzo possa spostare la posizione target, introduce un compromesso. Gli interventi possono portare a spostamenti "fuori target" (ad esempio, A→C/D) e, in alcuni casi, a deriva semantica in cui la semantica della domanda o lo spazio delle opzioni vengono alterati per adattarsi alla nuova posizione.

4. Strategie di Mitigazione

• Prompting: L'aggiunta di istruzioni esplicite per "bilanciare" la distribuzione delle risposte corrette riduce la distorsione, specialmente nei modelli più grandi o orientati al ragionamento (ad esempio, DeepSeek-Reasoner, Gemini-3-Pro). Tuttavia, i modelli più piccoli faticano a seguire questi vincoli distributivi globali e la distorsione non viene completamente eliminata.

Significato e Affermazioni

Il documento afferma di fornire un framework pratico per studiare la pianificazione posizionale implicita negli LLM. I suoi contributi principali sono:

1. Evidenza Empirica: Dimostrare che la distorsione di posizione nella generazione di MCQ è sistematica, specifica del modello e persiste anche senza identificatori espliciti delle opzioni.
2. Intuito Meccanistico: Fornire prove che le posizioni delle risposte non sono meramente incidentali, ma probabilmente parte di una strategia di pianificazione implicita codificata nelle rappresentazioni nascoste del modello. La capacità di prevedere la posizione della risposta dal testo della domanda suggerisce che il modello "decide" la posizione prima di generare le opzioni.
3. Manipolazione Causale: Stabilire che le rappresentazioni interne possono essere sterzate per influenzare le posizioni delle risposte, confermando un legame causale tra segnali di pianificazione latenti e distribuzioni di output.
4. Implicazioni per l'Affidabilità: Evidenziare che la costruzione affidabile di MCQ richiede più della semplice ingegneria dei prompt; necessita di comprendere e potenzialmente controllare le dinamiche interne della generazione per garantire strumenti di valutazione imparziali.

Gli autori mantengono una posizione modesta, notando che, sebbene i loro risultati suggeriscano "meccanismi simili alla pianificazione", non costituiscono una prova definitiva di una pianificazione simbolica esplicita. Riconoscono anche i limiti, come la dipendenza dell'efficacia dell'intervento dalle posizioni di iniezione e la potenziale incoerenza semantica quando si forzino cambiamenti posizionali.