Sintesi Tecnica: Ripensare l'LLM-as-a-Judge: Representation-as-a-Judge con Small Language Models tramite l'Asimmetria della Capacità Semantica

1. Definizione del Problema

Il paradigma prevalente per la valutazione senza riferimento dei Large Language Models (LLM) è l'"LLM-as-a-Judge", in cui modelli potenti vengono istruiti tramite prompt per valutare la qualità degli output generati. Sebbene efficace, questo approccio soffre di tre criticità fondamentali:

1. Alto Costo Computazionale: Richiede la decodifica autoregressiva, rendendolo costoso anche per valutazioni di singoli punti.
2. Opacità: L'affidamento a modelli proprietari (es. GPT-4) rende i meccanismi interni non verificabili e non interpretabili.
3. Instabilità: L'efficacia dipende fortemente dall'ingegneria dei prompt, sollevando preoccupazioni riguardo alla riproducibilità e alla robustezza.

I tentativi di mitigare questi problemi utilizzando modelli linguistici più piccoli e open-source (SLM) come giudici tramite il prompting diretto sono in gran parte falliti. Gli SLM spesso producono punteggi di valutazione scarsi e incoerenti rispetto ai loro omologhi più grandi. Tuttavia, ricerche precedenti suggeriscono che gli SLM possiedano una competenza semantica comparabile ai modelli più grandi nonostante le loro capacità generative più deboli. Questa discrepanza solleva una domanda fondamentale: i modelli piccoli codificano segnali rilevanti per la valutazione nelle loro rappresentazioni interne anche quando la loro generazione superficiale è scarsa?

2. Ipotesi Centrale: Asimmetria della Capacità Semantica

Gli autori propongono l'Ipotesi dell'Asimmetria della Capacità Semantica, la quale postula che la capacità semantica richiesta per una valutazione accurata sia significativamente inferiore a quella richiesta per la generazione.

• Generazione: Comporta la pianificazione del discorso, dipendenze a lungo raggio e una decodifica completa, richiedendo una capacità del modello sostanziale.
• Valutazione: Si concentra sull'identificazione di incongruenze, errori fattuali o falle logiche, che gli autori sostengono siano già accessibili negli stati latenti intermedi di un modello, anche se il modello non è in grado di esprimerli in un testo coerente.

Questa ipotesi motiva un cambio di paradigma dal "LLM-as-a-Judge" al "Representation-as-a-Judge", una strategia priva di decodifica che estrae segnali valutativi direttamente dalle rappresentazioni latenti anziché fare affidamento sulla generazione di testo tramite prompt.

3. Metodologia: INSPECTOR

Per operazionalizzare questa ipotesi, gli autori introducono INSPECTOR (Internal Signal Probing and EvaluaTion Of Representations), un framework basato sul probing. La pipeline consiste in tre fasi:

3.1. Annotazione della Valutazione LLM (Generazione delle Gold Label)

• Generazione della Risposta: Un modello di media scala ($M_{med}$, es. 10–50 miliardi di parametri) genera risposte per query di benchmark. Questo modello è scelto per produrre una distribuzione diversificata di campioni di alta e bassa qualità.
• Scoring: Un modello grande e allo stato dell'arte ($M_{large}$, es. DeepSeek-V3) valuta queste risposte su cinque aspetti specifici: Consistenza Semantica, Logicità, Informatività, Fluidità e Fattualità.
• Costruzione del Dataset: Le coppie risultanti di (prompt di valutazione, punteggio) formano il dataset delle etichette d'oro ($D_{prob}$). Per garantire l'equilibrio, il dataset viene sottoposto a downsampling per eguagliare il numero di campioni attraverso i livelli di punteggio da 1 a 5.

3.2. Probing del Small LM

• Input: Gli stessi prompt di valutazione vengono inseriti in un piccolo modello linguistico ($M_{small}$, es. 0.6B–1.7B parametri).
• Estrazione delle Caratteristiche: Inveve di generare testo, il framework estrae gli stati nascosti ($H^{(\ell)}$) e i pesi dell'attenzione ($A^{(\ell)}$) da ogni livello $\ell$ di $M_{small}$.
• Pooling e Statistica: Per ogni livello, gli autori calcolano un insieme di vettori aggregati (media, ultimo, minimo, massimo, concatenazione) e caratteristiche statistiche (entropia dell'attenzione, norma, varianza, entropia).
• Classifica dei Livelli: Semplici probe lineari (regressione logistica) vengono addestrati su queste caratteristiche per predire i punteggi d'oro. Ciò identifica quali livelli e quali tipi di caratteristiche contengono i segnali valutativi più predittivi.

3.3. Costruzione dei Classificatori di Probing

• Assemblaggio delle Caratteristiche: In base alla classificazione dei livelli, il framework costruisce set di caratteristiche multi-livello concatenando le caratteristiche dei livelli più informativi.
• Addestramento del Classificatore: Classificatori leggeri (Regressione Logistica, SVM, MLP, Random Forest) vengono addestrati su queste caratteristiche concatenate per predire o i punteggi multiclasse (1–5) o le etichette di qualità binarie (Alta vs. Bassa).
• Selezione: La configurazione ottimale (set di livelli, metodo di pooling, classificatore) viene selezionata tramite cross-validazione per massimizzare le prestazioni minimizzando la complessità.

4. Risultati Chiave

Gli esperimenti sono stati condotti su benchmark di ragionamento (GSM8K, MATH, GPQA) utilizzando vari SLM (Qwen3-0.6B/1.7B, Llama-3.2-1B, Llama-3.1-8B).

• Superiorità rispetto al Prompting: INSPECTOR supera sostanzialmente il prompting diretto sugli stessi piccoli modelli. Nella classificazione multiclasse, gli F1 score sono migliorati di oltre il 20% in media. Nella classificazione binaria, i classificatori di probing hanno raggiunto punteggi F1 tra l'80 e il 90%, mentre il prompting spesso non riusciva a superare i basali casuali.
• Avvicinamento ai Modelli Grandi: La valutazione basata su probing dei piccoli modelli approssima da vicino la fedeltà dei giudici LLM a scala completa (es. DeepSeek-V3) nei compiti di filtraggio, nonostante i piccoli modelli abbiano significativamente meno parametri.
• Indipendenza dalla Dimensione del Modello: I modelli più grandi non superano costantemente quelli più piccoli nei compiti di probing. Ad esempio, Qwen3-0.6B ha superato Qwen3-1.7B in certi compiti di logicità, e Llama-3.2-1B ha superato Llama-3.1-8B nel probing della fluidità. Ciò mette in discussione l'assunto che la scalabilità sia strettamente necessaria per la valutazione.
• Utilità del Filtraggio Dati: I classificatori addestrati con questo metodo fungono da filtri altamente affidabili per i dati di ragionamento rumorosi. Quando utilizzati per filtrare i dati di addestramento per il Supervised Fine-Tuning (SFT) di un modello studente (Llama-2-7B), il filtro basato su probing ha prodotto prestazioni paragonabili all'uso di DeepSeek-V3 come filtro, superando significativamente il filtraggio casuale.

5. Significato e Contributi

Il documento rivendica tre contributi primari:

1. Scoperta Empirica: Identifica e analizza il fenomeno per cui i piccoli LM codificano ricchi segnali rilevanti per la valutazione nelle loro rappresentazioni interne, anche quando la loro produzione generativa è scarsa.
2. Formalizzazione Teorica: Formalizza l'Ipotesi della Capacità Semantica Asimmetrica, sostenendo che la valutazione è un compito a capacità inferiore rispetto alla generazione e può essere fondata sulle rappresentazioni intermedie.
3. Cambio di Paradigma: Introduce il concetto di Representation-as-a-Judge e lo instanzia attraverso INSPECTOR. Questo è presentato come il primo lavoro che indaga il probing degli LLM specificamente per i compiti di valutazione, offrendo un'alternativa scalabile, interpretabile ed economica all'attuale paradigma "LLM-as-a-Judge".

Gli autori concludono che questo approccio consente una valutazione efficiente e senza riferimento e la cura dei dati, suggerendo che un giudizio ad alta fedeltà non richiede necessariamente modelli generativi su larga scala, ma può essere sfruttato dalle caratteristiche latenti di modelli più piccoli e più accessibili.