Riepilogo Tecnico: ARCO (Adaptive Rubric CO-evolution)

Definizione del Problema

L'apprendimento per rinforzo (RL) per agenti basati su Large Language Model (LLM) multi-step, come quelli utilizzati nel multi-hop question answering (QA), si basa tipicamente su ricompense scalari. Queste ricompense sono spesso o basate sull'esito (successo/fallimento binario a livello di traiettoria) o basate sul processo (punteggi scalari opachi per ogni step).

• Le ricompense basate sull'esito non riescono a fornire un'attribuzione del credito granulare, rendendo difficile distinguere tra un colpo di fortuna e un processo di ricerca metodico.
• Le ricompense basate sul processo migliorano la granularità ma rimangono spesso delle "scatole nere", offrendo nessuna spiegazione sul perché uno specifico step sia stato buono o cattivo.
• I metodi esistenti basati su rubrica tentano di migliorare l'interpretabilità utilizzando criteri in linguaggio naturale. Tuttavia, soffrono di due limitazioni critiche:
  1. Scoring a livello di traiettoria: assegnano un singolo punteggio all'intero rollout, lasciando irrisolta l'attribuzione del credito a livello di step.
  2. Giudici statici: si affidano a LLM open-source o closed-source (es. GPT-4) come giudici esterni. Sebbene il testo della rubrica possa essere aggiornato, i parametri del giudice rimangono statici, impedendo alla funzione di scoring di adattarsi alle evoluzioni dei modi di fallimento dell'agente.

Metodologia: ARCO

Gli autori propongono ARCO (Adaptive Rubric CO-evolution), un framework in cui i criteri di valutazione (rubrica) e la funzione di scoring co-evolvono con la policy a livello di parametri utilizzando un modello open-source della stessa scala.

1. Modello di Rubrica Gerarchico ($\mu$)

ARCO istanzia sia la generazione della rubrica che lo scoring all'interno di un singolo modello addestramabile $\mu$ che condivide un backbone $f_\theta$ con la policy $\pi$. Il modello presenta due teste leggere:

• Testa di Generazione (High-level): Dato il prefisso della traiettoria $h_t$ e l'azione $a_t$, genera un insieme ordinato di $K$ criteri in linguaggio naturale $r_t = (c_{t,1}, \dots, c_{t,K})$. Questi criteri sono specifici per il contesto, adattandosi alla fase del compito (ad esempio, il targeting di entità per le ricerche iniziali rispetto al supporto della risposta per gli step finali).
• Testa di Scoring (Low-level): Prende lo stesso contesto stato-azione e la rubrica generata $r_t$ come input. Produce $K$ punteggi a livello di dimensione $d_t \in [-1, 1]^K$, che vengono mediati per formare la ricompensa a livello di step $s_t$.

2. Addestramento Co-evolutivo

Il framework opera su dati on-policy, aggiornando congiuntamente la policy $\pi$ e il modello della rubrica $\mu$:

• Warmup Supervisionato: Prima del RL, un insegnante closed-source annota le traiettorie con rubriche e punteggi. La policy viene inizializzata tramite Supervised Fine-Tuning (SFT) su traiettorie di successo, e $\mu$ viene inizializzato per generare criteri e predire punteggi che soddisfino un vincolo di decomposizione a livello di traiettoria.
• Ciclo RL:
  • Aggiornamento della Policy ($\pi$): La policy viene aggiornata utilizzando gli advantage reward-to-go derivati dagli score a livello di step $s_t$ predetti dall'attuale $\mu$. Viene utilizzato un baseline a bucket posizionale per ridurre la varianza.
  • Aggiornamento del Modello della Rubrica ($\mu$): Il modello viene aggiornato utilizzando un vincolo di decomposizione della traiettoria. La somma dei punteggi degli step predetti deve essere uguale all'esito binario terminale $R(\tau)$:
    $$\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$$
    Ciò consente a $\mu$ di apprendere l'attribuzione del credito a livello di step senza etichette gold per ogni step, mentre il termine KL mantiene le rubriche generate coerenti con la distribuzione di warmup.

3. Scelte di Design Chiave

• Backbone Condiviso: Le teste di generazione e di scoring condividono i parametri. Ciò assicura che i criteri siano scritti nello stesso spazio di rappresentazione utilizzato per lo scoring, permettendo ai gradienti dell'obiettivo di decomposizione di modellare le feature per entrambe le fasi.
• Open Source della Stessa Scala: ARCO utilizza modelli open-source (es. Qwen3-4B, Llama-3.2-3B) sia per l'agente che per l'evaluator, eliminando la dipendenza da giudici esterni closed-source.

Contributi Chiave

1. Framework di Rubrica Adattiva a Livello di Step: ARCO introduce un framework di reward basato sul processo in cui sia la rubrica in linguaggio naturale che la funzione di scoring co-evolvono con la policy a livello di parametri, eliminando la necessità di un giudice chiuso e statico.
2. Modello Gerarchico con Decomposizione: Gli autori progettano un modello che genera criteri specifici per il contesto e valuta le azioni sotto di essi. Imponendo un vincolo di decomposizione della traiettoria, il modello impara ad assegnare il credito ai singoli step basandosi esclusivamente sull'esito terminale.
3. Validazione Empirica: Esperimenti estesi su benchmark di multi-hop QA dimostrano che ARCO supera i solidi baseline, e le analisi confermano che le rubriche generate sono specifiche per il passo, robuste e utili per diagnosticare il comportamento dell'agente.

Risultati Sperimentali

Gli autori hanno valutato ARCO su tre benchmark di multi-hop QA: HotpotQA, 2WikiMultiHopQA e MuSiQue, utilizzando due backbone open-source (Qwen3-4B e Llama-3.2-3B).

• Performance: ARCO ha ottenuto i migliori punteggi di Exact Match (EM) in tutte e sei le configurazioni (dataset, backbone) e i migliori punteggi F1 in cinque su sei. Ha superato costantemente:
  • Modelli di Ricompensa basati sull'Esito (ORM): Inclusi i metodi a ricompensa binaria (Search-R1, R1-Searcher) e gli ORM basati su rubrica con giudici congelati (RaR, CARMO, RLER).
  • Modelli di Ricompensa basati sul Processo (PRM): Nello specifico AgentPRM, che utilizza valori scalari opachi per step.
• Studi di Ablazione:
  • Rimuovere la generazione del testo della rubrica ("w/o Rubric") ha causato un calo significativo delle performance, confermando che le rubriche forniscono una struttura semantica essenziale piuttosto che una semplice decorazione.
  • L'uso di criteri fissi a livello di dataset ("w/o Adaptive") ha performato peggio rispetto alla generazione adattiva, indicando che i criteri fissi non possono tracciare l'evoluzione dei modi di fallimento.
  • Condizionare le rubriche solo sulla domanda/azione senza il prefisso della traiettoria ("w/o Prefix") ha ridotto la correttezza della risposta, mostrando l'importanza del contesto completo.
• Qualità della Rubrica: I test diagnostici hanno mostrato che le rubriche di ARCO sono altamente legate all'azione (42–55% di accuratezza nell'identificare l'azione specifica che hanno valutato, significativamente sopra il caso) e sono state valutate positivamente per specificità (circa 4.0/5.0).
• Sensibilità: Si è scoperto che il numero di criteri ($K$) è sensibile; $K=3$ ha fornito le prestazioni ottimali, mentre valori di $K$ più elevati introducevano ridondanza senza migliorare i punteggi.

Significato e Rivendicazioni

Il paper sostiene che ARCO rappresenti un passaggio dai sistemi di reward modeling statici e opachi a sistemi adattivi, interpretabi e co-evolutivi.

• Interpretabilità: Generando criteri in linguaggio naturale per ogni step, ARCO fornisce un segnale "leggibile" che spiega perché un'azione è stata premiata o penalizzata, aiutando la diagnosi del comportamento dell'agente.
• Adattabilità: A differenza dei metodi che utilizzano giudici congelati, l'evaluator di ARCO evolve insieme alla policy. Mentre l'agente impara a evitare certi errori, il modello della rubrica si adatta per identificare modi di fallimento più sottili (es. targeting dell'entità errata o recupero ridondante).
• Efficienza e Accessibilità: Utilizzando modelli open-source della stessa scala sia per l'agente che per l'evaluator, ARCO evita i costi e la dipendenza dalle API closed-source pur mantenendo alte prestazioni.

Gli autori concludono che ARCO offre una base per costruire sistemi di apprendimento di reward basati sul processo interpretabili per gli agenti linguistici, trasformando ricompense di esito sparse in segnali densi e consapevoli del passo, senza l'ausilio di giudici esterni.