Résumé Technique : ARCO (Adaptive Rubric CO-evolution)

Énoncé du Problème

L'apprentissage par renforcement (RL) pour les agents de modèles de langage (LLM) à étapes multiples, tels que ceux utilisés pour le questionnement multi-étapes (multi-hop QA), repose généralement sur des récompenses scalaires. Ces récompenses sont soit basées sur le résultat (succès ou échec binaire au niveau de la trajectoire), soit basées sur le processus (scores scalaires opaques par étape).

• Les récompenses basées sur le résultat ne parviennent pas à fournir une attribution de crédit granulaire, ce qui rend difficile la distinction entre une chance pure et un processus de recherche méthodique.
• Les récompenses basées sur le processus améliorent la granularité mais restent souvent des « boîtes noires », n'offrant aucune explication sur la raison pour laquelle une étape spécifique était bonne ou mauvaise.
• Les méthodes existantes basées sur des rubriques tentent d'améliorer l'interprétabilité en utilisant des critères en langage naturel. Cependant, elles souffrent de deux limitations critiques :
  1. Évaluation au niveau de la trajectoire : Elles attribuent un score unique à l'ensemble du déroulement, laissant l'attribution de crédit au niveau de l'étape non résolue.
  2. Juges statiques : Elles reposent sur des LLM fermés et figés (ex. : GPT-4) comme juges externes. Bien que le texte de la rubrique puisse être mis à jour, les paramètres du juge restent statiques, empêchant la fonction de notation de s'adapter aux modes d'échec évolutifs de l'agent.

Méthodologie : ARCO

Les auteurs proposent ARCO (Adaptive Rubric CO-evolution), un cadre où les critères d'évaluation (la rubrique) et la fonction de notation co-évoluent avec la politique au niveau des paramètres, en utilisant un modèle open-source de même échelle.

1. Modèle de Rubrique Hiérarchique ($\mu$)

ARCO instancie à la fois la génération de la rubrique et la notation au sein d'un seul modèle entraînable $\mu$ qui partage un squelette (backbone) $f_\theta$ avec la politique $\pi$. Le modèle présente deux têtes légères :

• Tête de Génération (Haut niveau) : Étant donné le préfixe de la trajectoire $h_t$ et l'action $a_t$, elle génère un ensemble ordonné de $K$ critères en langage naturel $r_t = (c_{t,1}, \dots, c_{t,K})$. Ces critères sont spécifiques au contexte, s'adaptant à l'étape de la tâche (par exemple, le ciblage d'entités pour les recherches précoces versus le support de réponse pour les étapes finales).
• Tête de Notation (Bas niveau) : Elle prend le même contexte état-action et la rubrique générée $r_t$ en entrée. Elle produit $K$ scores de dimension $d_t \in [-1, 1]^K$, qui sont moyennés pour former la récompense par étape $s_t$.

2. Entraînement Co-évolutionnaire

Le cadre opère sur des données on-policy, mettant à jour conjointement la politique $\pi$ et le modèle de rubrique $\mu$ :

• Démarrage Supervisé (Supervised Warmup) : Avant le RL, un enseignant (teacher) propriétaire annote les trajectoires avec des rubriques et des scores. La politique est initialisée via un ajustement fin supervisé (SFT) sur les trajectoires réussies, et $\mu$ est initialisé pour générer des critères et prédire des scores satisfaisant une contrainte de décomposition de trajectoire.
• Boucle de RL :
  • Mise à jour de la Politique ($\pi$) : La politique est mise à jour en utilisant les avantages de type "récompense à venir" (reward-to-go) dérivés des scores par étape $s_t$ prédits par l'actuel $\mu$. Une ligne de base par compartiment de position (position-bucketed baseline) est utilisée pour réduire la variance.
  • Mise à jour du Modèle de Rubrique ($\mu$) : Le modèle est mis à jour à l'aide d'une contrainte de décomposition de trajectoire. La somme des scores d'étape prédits doit être égale au résultat binaire terminal $R(\tau)$ :
    $$\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$$
    Cela permet à $\mu$ d'apprendre l'attribution de crédit par étape sans étiquettes d'étape d'or, tandis que le terme KL maintient la cohérence des rubriques générées avec la distribution de démarrage.

3. Choix de Conception Clés

• Squelette Partagé (Shared Backbone) : Les têtes de génération et de notation partagent des paramètres. Cela garantit que les critères sont écrits dans le même espace de représentation utilisé pour la notation, permettant aux gradients de l'objectif de décomposition de façonner les caractéristiques pour les deux étapes.
• Même Échelle Open Source : ARCO utilise des modèles open-source (ex. : Qwen3-4B, Llama-3.2-3B) pour l'agent et l'évaluateur, éliminant la dépendance aux juges externes fermés.

Contributions Clés

1. Cadre de Rubrique Adaptatif et par Étape : ARCO introduit un cadre de récompense par processus où la rubrique en langage naturel et la fonction de notation co-évoluent toutes deux avec la politique au niveau des paramètres, supprimant le besoin d'un juge fermé et figé.
2. Modèle Hiérarchique avec Décomposition : Les auteurs conçoivent un modèle qui génère des critères spécifiques au contexte et note les actions sous ces critères. En imposant une contrainte de décomposition de trajectoire, le modèle apprend à attribuer le crédit aux étapes individuelles en se basant uniquement sur le résultat terminal.
3. Validation Empirique : Des expériences approfondies sur des benchmarks de multi-hop QA démontrent qu'ARCO surpasse les bases solides, et les analyses confirment que les rubriques générées sont spécifiques aux étapes, robustes et utiles pour diagnostiquer le comportement de l'agent.

Résultats Expérimentaux

Les auteurs ont évalué ARCO sur trois benchmarks de multi-hop QA : HotpotQA, 2WikiMultiHopQA, et MuSiQue, en utilisant deux squelettes open-source (Qwen3-4B et Llama-3.2-3B).

• Performance : ARCO a obtenu les meilleurs scores Exact Match (EM) dans les six configurations (jeu de données, squelette) et les meilleurs scores F1 dans cinq des six. Il surpasse systématiquement :
  • Les Modèles de Récompense par Résultat (ORM) : Incluant les méthodes à récompense binaire (Search-R1, R1-Searcher) et les ORM à base de rubriques avec des juges figés (RaR, CARMO, RLER).
  • Les Modèles de Récompense par Processus (PRM) : Spécifiquement AgentPRM, qui utilise des valeurs scalaires opaques par étape.
• Études d'Ablation :
  • La suppression de la génération de texte de la rubrique (« w/o Rubric ») a provoqué une chute significative de la performance, confirmant que les rubriques fournissent une structure sémantique essentielle plutôt qu'une simple décoration.
  • L'utilisation de critères fixes au niveau du jeu de données (« w/o Adaptive ») a donné des résultats inférieurs à la génération adaptative, indiquant que des critères fixes ne peuvent pas suivre l'évolution des modes d'échec.
  • Le fait de conditionner les rubriques uniquement sur la question/action sans le préfixe de la trajectoire (« w/o Prefix ») a réduit la justesse des réponses, montrant l'importance du contexte complet.
• Qualité de la Rubrique : Les tests de diagnostic ont montré que les rubriques d'ARCO sont fortement liées à l'action (42–55 % de précision pour identifier l'action spécifique qu'elles notaient, nettement au-dessus du hasard) et ont été jugées élevées pour leur spécificité (environ 4.0/5.0).
• Sensibilité : Le nombre de critères ($K$) s'est avéré sensible ; $K=3$ a donné les performances optimales, tandis que des valeurs de $K$ plus élevées introduisaient de la redondance sans améliorer les scores.

Signification et Revendications

L'article affirme qu'ARCO représente un changement de paradigme, passant d'une modélisation de récompense statique et opaque à des systèmes de récompense adaptatifs, interprétables et co-évolutionnaires.

• Interprétabilité : En générant des critères en langage naturel pour chaque étape, ARCO fournit un signal « lisible » qui explique pourquoi une action a été récompensée ou pénalisée, facilitant le diagnostic du comportement de l'agent.
• Adaptabilité : Contrairement aux méthodes utilisant des juges figés, l'évaluateur d'ARCO évolue parallèlement à la politique. À mesure que l'agent apprend à éviter certains types d'erreurs, le modèle de rubrique s'adapte pour identifier des modes d'échec plus subtils (ex. : ciblage de la mauvaise entité ou récupération redondante).
• Efficacité et Accessibilité : En utilisant des modèles open-source de même échelle pour l'agent et l'évaluateur, ARCO évite les coûts et la dépendance vis-à-vis des API fermées tout en maintenant une haute performance.

Les auteurs concluent qu'ARCO offre une base pour construire des systèmes d'apprentissage par récompense de processus interprétables pour les agents linguistiques, transformant les récompenses de résultat éparses en signaux denses et conscients des étapes, sans nécessiter de juges externes.