AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

Sintesi Tecnica: AdaJudge

Definizione del Problema

La modellazione della ricompensa (reward modeling) è fondamentale per allineare i Large Language Models (LLM) alle preferenze umane, tuttavia le attuali architetture affrontano due limitazioni strutturali fondamentali:

1. Bias Induttivo Statico: I modelli di ricompensa predominanti si affidano a strategie di pooling fissi (ad esempio, last-token o mean pooling) per condensare le rappresentazioni delle sequenze in punteggi scalari. Ciò crea un disallineamento con la natura dipendente dal compito dei segnali di preferenza. Ad esempio, i compiti di ragionamento spesso richiedono segnali terminali localizzati (favorendo il last-token pooling), mentre i compiti di sicurezza o coerenza richiedono prove olistiche e distribuite (favorendo il mean pooling). Una singola strategia statica impone un compromesso, fallendo spesso nel catturare la distribuzione spaziale delle prove richiesta per domini specifici.
2. Disallineamento Rappresentativo: I backbone degli LLM sono ottimizzati per la predizione del next-token (compiti generativi), mentre la modellazione della ricompensa richiede una discriminazione fine tra coppie. Di conseguenza, gli stati latenti grezzi del backbone potrebbero mancare delle caratteristiche necessarie per distinguere sottili segnali di preferenza, come incongruenze logiche o minori violazioni dei vincoli, senza un'ulteriore adattamento.

Le soluzioni esistenti spesso si affidano alla scalabilità dei dati o della dimensione del modello, oppure utilizzano ensemble computazionalmente costosi di più modelli per ottenere adattabilità, lasciando non affrontata la fondamentale rigidità architettonica delle teste di ricompensa a modello singolo.

Metodologia: AdaJudge

Gli autori propongono AdaJudge (Adaptive Multi-Perspective Judging), un framework unificato in due fasi progettato per adattare congiuntamente la rappresentazione e l'aggregazione senza richiedere la supervisione a livello di token o di processo.

Fase I: Raffinamento Adattivo della Rappresentazione

Per affrontare il disallineamento rappresentativo, AdaJudge introduce un modulo di raffinamento iterativo leggero applicato dopo il backbone LLM.

• Meccanismo: Il modulo consiste in $K$ blocchi transformer sequenziali.
• Depth-Gating: Un vettore di contesto globale a livello di sequenza (derivato tramite mean pooling delle feature del backbone) viene passato attraverso una rete di gating per produrre coefficienti di miscelazione $\alpha$.
• Raffinamento: La rappresentazione raffinata finale $\tilde{H}$ è una combinazione convessa di tutti gli stati latenti intermedi ($H^{(1)}$ fino a $H^{(K)}$). Ciò consente al modello di enfatizzare dinamicamente segnali superficiali o di accumulare tracce di ragionamento più profonde a seconda della complessità del campione di input.

Fase II: Aggregazione Multi-Prospettiva

Per affrontare il bias induttivo statico, AdaJudge sostituisce l'output fisso con una testa Domain-Aware Gated Mixture-of-Pooling.

• Esperti Paralleli: La rappresentazione raffinata $\tilde{H}$ viene elaborata attraverso tre esperti di pooling paralleli:
  1. Last-Token Pooling ($z_L$): Cattura segnali sensibili alle conclusioni.
  2. Mean Pooling ($z_M$): Cattura attributi globali di stile e coerenza.
  3. Attention Pooling ($z_A$): Rileva anomalie sparse in qualsiasi punto della sequenza.
• Routing Condizionato dal Prompt: Una rappresentazione separata del prompt ($z_P$) è derivata tramite mean pooling dei token del prompt. Una rete di routing prende il vettore concatenato $[z_L; z_M; z_A; z_P]$ e produce pesi di miscelazione $\pi$ tramite softmax.

3. Scoring Dinamico: Il punteggio di ricompensa finale $r(x, y)$ è una miscela controllata (gated mixture) dei punteggi provenienti dalle tre prospettive ($s_L, s_M, s_A$), pesata da $\pi$. Ciò consente al modello di selezionare adattivamente la strategia di aggregazione che meglio si allinea con la distribuzione spaziale delle prove richiesta dallo specifico prompt.

Ottimizzazione

Il modello è addestrato utilizzando un obiettivo Focal Bradley–Terry. La funzione di perdita include un termine focale per enfatizzare i campioni difficili e un termine di regolarizzazione dell'entropia per evitare che la distribuzione di routing collassi su una singola prospettiva, garantendo che il modello mantenga un insieme diversificato di strategie di aggregazione.

Contributi Chiave

1. Identificazione dei Disallineamenti Strutturali: Il documento identifica formalmente che i backbone focalizzati sulla generazione mancano di caratteristiche di discriminazione fine e che il pooling fisso non riesce a catturare la natura multi-granulare delle prove di preferenza.
2. Framework Unificato: L'introduzione di AdaJudge, che adatta congiuntamente il raffinamento della rappresentazione (tramite blocchi con depth-gating) e l'aggregazione delle prove (tramite routing consapevole del dominio) senza supervisione esterna.
3. Superiorità Empirica: Ha dimostrato un costante superamento dei forti modelli di ricompensa off-the-shelf e dei baseline controllati (stesso backbone, diverse teste) attraverso diversi domini e scale di modello.

Risultati Sperimentali

Gli esperimenti sono stati condotti su RM-Bench e JudgeBench, utilizzando i modelli base Phi-3.5-mini-instruct, Qwen3-4B e Qwen3-8B addestrati sul dataset HelpSteer3.

• Guadagni di Performance: AdaJudge ha superato significativamente i tradizionali baseline di pooling. In particolare, un modello Qwen3-8B equipaggiato con AdaJudge (71.1 complessivo su RM-Bench) ha superato un modello molto più grande, Skywork-Reward-Gemma-2 da 27 miliardi di parametri (70.5), dimostrando un'alta efficienza di parametri.
• Risoluzione dei Compromessi: I baseline statici hanno mostrato profili di performance contrastanti (ad esempio, il last-token pooling eccelleva nella sicurezza ma falliva nella matematica; il mean pooling faceva l'opposto). AdaJudge ha raggiunto un "miglioramento Pareto", massimizzando simultaneamente le performance in Matematica (80.4), Sicurezza (87.5) e robustezza sui subset difficili (43.0).
• Studi di Ablazione:
  • Rimuovendo la fase di raffinamento, si sono verificati cali significativi nei compiti intensivi di ragionamento (Matematica e Codice), confermando la necessità di adattare lo spazio rappresentativo.
  • I baseline a vista singola statica (Last-Token, Mean, Attention) sono stati costantemente inferiori alla miscela adattiva, in particolare sui subset "Hard" dei benchmark.
• Analisi dei Meccanismi Interni:
  • Allineamento: Il raffinamento iterativo ha aumentato l'allineamento del coseno tra la direzione di scoring e la vera differenza di preferenza, particolarmente per le viste di mean e attention pooling.
  • Comportamento del Routing: Il meccanismo di gating ha appreso pattern di aggregazione distinti per dominio (ad esempio, un peso maggiore sull'Attention pooling per Code/Math, e sul Mean pooling per la Sicurezza), validando la capacità del modello di adattarsi alle distribuzioni di evidenza specifiche del dominio.

Significato

Il documento sostiene che la rigidità delle strategie di aggregazione fisse sia un collo di bottiglia primario nella modellazione della ricompensa. Decoppiando il raffinamento della rappresentazione dall'aggregazione delle prove, AdaJudge dimostra che le architetture dinamiche e adattive per istanza possono superare i limiti dei bias induttivi statici. Il lavoro suggerisce che la futura modellazione della ricompensa debba andare oltre la semplice scalabilità di dati o dimensioni del modello, concentrandosi invece sulla flessibilità architettonica che allinei le rappresentazioni interne e le strategie di aggregazione con le specifiche richieste spaziali e logiche del compito di valutazione.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Scalabilità: La validazione è attualmente limitata a modelli fino a 8 miliardi di parametri; l'efficacia su modelli di scala estrema (70B+) rimane inesplorata.
• Latenza: Sebbene leggero, il raffinamento iterativo e la rete di routing introducono parametri aggiuntivi e latenza di inferenza rispetto ai normali baseline di pooling fisso.
• Libreria di Esperti: L'implementazione attuale utilizza un set fisso di tre esperti di pooling. Il framework è estendibile, ma l'insieme ottimale di esperti e il potenziale per la scoperta automatica degli esperti rimangono questioni aperte.
• Modalità: La valutazione è attualmente limitata alla modellazione delle preferenze testuali, con potenziale estensione a input multimodali.