Riepilogo Tecnico: Circuiti del Giudice

Enunciato del Problema

Il paradigma "LLM-as-a-Judge" (LaaJ) è diventato lo standard per la scalabilità della valutazione dei modelli, ma soffre di un problema critico di affidabilità: i modelli assegnano punteggi sistematicamente diversi allo stesso input a seconda del formato di output (ad esempio, una valutazione da 1 a 5 rispetto a una classificazione Vero/Falso). Lavori precedenti hanno documentato questa incoerenza, ma si sono fermati al livello input-output, non riuscendo a spiegare i meccanismi computazionali interni. La domanda centrale affrontata da questo articolo non è se i modelli giudichino in modo coerente, ma dove nell'itinerario computazionale dall'input all'output abbia origine l'incoerenza indotta dal formato del token.

Metodologia

Gli autori impiegano il Position-aware Edge Attribution Patching (PEAP) per indagare causalmente i meccanismi interni dei circuiti del giudice nei modelli Gemma-3, Qwen2.5 e Llama-3. Il loro approccio prevede:

1. Scoperta del Circuito: Utilizzo del PEAP per tracciare i bordi causali attraverso le posizioni dei token (essenziale per compiti che confrontano segmenti separati come premessa vs. ipotesi) dai token di input differenziali (prompt puliti vs. corrotti) fino all'output.
2. Decomposizione Contrastiva: Tracciamento di due circuiti per le stesse istanze di dati: uno per un compito di valutazione ($C_{rate}$) e uno per un compito di controllo di classificazione ($C_{class}$). L'intersezione di questi circuiti ($C_{LE} = C_{rate} \cap C_{class}$) definisce il Valutatore Latente (LE), mentre le differenze definiscono i Formattatori di Compito (TF).
3. Sonde Causali: Validazione dei circuiti scoperti attraverso tre metodi indipendenti:
   • Ablazione Zero: Blocco dei componenti LE a zero per verificare se la conoscenza del mondo viene preservata mentre il giudizio crolla.
   • Steering del Sottospazio: Identificazione di una direzione di giudizio 1D nello spazio di attivazione del LE e sua manipolazione per osservare i cambiamenti nell'output.
   • Iniezione di Trasferimento di Formato (FTI): Cattura delle attivazioni del LE da un prompt di valutazione e iniezione nel grafo di un prompt di classificazione per verificare se il token di output cambia.

Contributi e Risultati Chiave

1. Scoperta di un Valutatore Latente Condiviso

Lo studio identifica un sottografo sparso e generalizzato del Valutatore Latente (LE) situato nei Perceptron a Strati Multipli (MLP) di metà-fine e in alcune teste di attenzione tardive.

• Sovrapposizione Cross-Task: Compiti di giudizio distinti (correttezza linguistica strutturata, preferenza e sentiment) condividono un tronco computazionale denso. Ad esempio, su Qwen2.5-7B, l'Edge IoU tra i compiti varia dal 34,9% al 47,0%.
• Fedeltà: Questi circuiti sparsi (top-$k \le 200$ bordi) sono causalmente sufficienti, recuperando $\ge 87\%$ del comportamento di valutazione del modello in 21 configurazioni su 25 di modello-compito.

2. Modularità Dipendente dall'Architettura

L'isolamento funzionale del LE non è una conseguenza universale della scala, ma dipende dall'architettura del modello:

• Modelli Modulari: In Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B e Gemma-3-27B, l'ablazione zero del LE fa crollare le prestazioni di giudizio lasciando intatta la conoscenza del mondo (MMLU, StrategyQA).
• Modelli Intrecciati: In Gemma-3-12B, il LE è strettamente intrecciato con i percorsi della conoscenza del mondo; la sua ablazione degrada sia il giudizio che il richiamo fattuale. Ciò indica che la modularità è una proprietà architetturale, non semplicemente una funzione del numero di parametri.

3. Meccanismo dell'Incoerenza Indotta dal Formato

L'articolo fornisce una spiegazione meccanica del motivo per cui i cambiamenti di formato causano incoerenza:

• La Divisione: Il giudizio è calcolato da un segnale stabile e continuo nel tronco condiviso del LE. Questo segnale viene poi mappato su token di output specifici da rami terminali fragili e specifici per il formato (Task Formatters).
• Il Collo di Bottiglia: L'incoerenza non nasce nella valutazione stessa, ma nell'instradamento. Il LE calcola una direzione di giudizio stabile 1D, ma la "geometria dell'attrattore" del Task Formatter (come mappa questo scalare su token discreti) varia in base al formato e al modello.
  • Formati Binari/Ordinali: In formati con attrattori chiari (ad esempio, Sì/No binario o scale da 1 a 5), il segnale del LE viene decodificato con successo.
  • Formati Multi-Attrattore: In compiti come MNLI (Implicazione/Neutrale/Contraddizione), il formattatore distribuisce la massa di probabilità su tre token concorrenti. L'iniezione di un segnale di giudizio 1D spesso non riesce a cambiare l'output perché il segnale si frammenta tra i tre attrattori, impedendo a un singolo etichetta di raggiungere l'argmax.
• Evidenza FTI: L'iniezione di attivazioni a tappeto da un prompt di valutazione a un prompt di classificazione cambia il token di output nei modelli modulari (ad esempio, Qwen2.5-7B cambia $\ge 99\%$ dei casi) ma fallisce nei modelli in cui il formattatore è geometricamente isolato (ad esempio, Gemma-3-27B su MNLI).

4. Implicazioni Pratiche per la Valutazione

Gli autori dimostrano che la direzione causale 1D del LE può servire come scalare di giudizio zero-shot.

• Su dati di preferenza con piccolo-$N$ (dove gli output promptati sono scarsamente calibrati e le sonde supervisionate soffrono di overfitting), questo segnale latente corrisponde o supera le sonde residue supervisionate.
• Tuttavia, su compiti in cui il vocabolario promptato è allineato su scala con le etichette umane (ad esempio, Yelp da 1 a 5 stelle), i valori attesi ponderati per probabilità rimangono una baseline forte che la direzione latente non supera.

Significato e Affermazioni

L'articolo riformula il dibattito sull'affidabilità del LaaJ. Sostiene che l'incoerenza comportamentale sotto perturbazioni di formato è la firma attesa di un giudizio interno stabile instradato attraverso una mappatura terminale fragile, piuttosto che un fallimento della capacità di valutazione sottostante.

• Cambiamento Diagnostico: La domanda diagnostica si sposta da "Il modello giudica in modo coerente?" a "Il formattatore per questa specifica di output preserva il giudizio sottostante?".
• Interpretazione dei Benchmark: I confronti di affidabilità a livello di benchmark tra formati misurano parzialmente la geometria del formattatore piuttosto che la qualità della valutazione.
• Insight Architetturale: Le scoperte mettono in discussione l'assunzione che astrazioni interne pulite emergano genericamente con la scala; al contrario, le scelte architetturali (dati di addestramento, sparsità dell'attenzione, normalizzazione) svolgono un ruolo portante nel determinare se un modello esibisce modularità funzionale.

Gli autori concludono che le soluzioni per l'incoerenza del LaaJ dovrebbero colpire il formattatore (il meccanismo di instradamento) senza disturbare la competenza di giudizio fondamentale del modello, e che l'estrazione del sottospazio latente è un'alternativa praticabile agli output promptati, specialmente in regimi in cui gli output discreti sono scarsamente calibrati.