Résumé Technique : MAVEN - Récompenses par État de Preuve pour le Raisonnement à Long Contexte

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) avancés supportent de plus en plus de fenêtres de contexte étendues, pourtant la capacité à accepter de longs contextes ne garantit pas un raisonnement efficace sur ceux-ci. Les modèles souffrent souvent de phénomènes de « perte au milieu » (lost in the middle), d'une dépendance prématurée à des preuves partielles et d'une incapacité à synthétiser des informations distribuées à travers des parties distantes du contexte.

Les approches de renforcement (RL) existantes pour le raisonnement en long contexte reposent généralement sur des récompenses basées uniquement sur le résultat (vérification de la réponse finale) ou sur des récompenses statiques d'identification de preuves (récompenser la sélection de segments d'or). Les auteurs soutiennent que ces méthodes sont insuffisantes car elles traitent la preuve comme des segments isolés ou un ensemble final extrait. Elles ne parviennent pas à capturer la nature dynamique et dépendante de l'état du raisonnement en long contexte, où :

• Un segment peut ne devenir précieux qu'après la découverte d'un autre.
• Un document plausible peut devoir être écarté une fois qu'une preuve ultérieure révèle qu'il s'agit d'un distracteur.
• Des morceaux individuellement insuffisants peuvent conjointement combler un fossé de raisonnement.

Les récompenses actuelles encouragent l'engagement prématuré envers des chemins de preuves localement plausibles plutôt que le processus itératif de construction, de révision et de synthèse d'un état de preuve évolutif.

2. Méthodologie : MAVEN

Les auteurs proposent MAVEN (Marginal-Value Evidence Navigation), un cadre d'apprentissage par renforcement qui traite le raisonnement en long contexte comme une navigation par état de preuve avec mémoire. Au lieu de récompenser l'extraction isolée, MAVEN définit une valeur d'état de preuve conditionnée par la réponse et assigne des récompenses à des transitions d'état spécifiques au niveau de l'action.

2.1 Cadre et Actions

Le modèle de politique $\pi_\theta$ interagit avec une mémoire de preuve éditable $E_k$ avant de générer une réponse finale. Le modèle génère une trajectoire d'actions de haut niveau :

1. Ajouter (<add>) : Ajoute un segment de preuve cité ou référencé à la mémoire.
2. Supprimer (<drop>) : Retire un élément de preuve non pertinent, redondant ou trompeur.
3. Lier (<link>) : Explique comment deux éléments de preuve soutiennent conjointement la réponse (synthèse).
4. Répondre (<answer>) : Produit la réponse finale.

2.2 Fonction de Valeur

MAVEN utilise un modèle vérificateur gelé $p_\psi$ pour calculer une valeur d'état de preuve $V_\psi(Q, E)$. Cette valeur mesure la réduction relative de la log-vraisemblance négative (NLL) de la réponse d'or $a^*$ étant donné la question $Q$ et la mémoire de preuve actuelle $E$, par rapport à l'absence de preuve :
$$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$$
Une valeur positive indique que la preuve rend la réponse correcte plus prévisible.

2.3 Récompenses au Niveau de l'Action

MAVEN assigne des récompenses de processus à des segments d'action spécifiques dans le cadre de GRPO (Group Relative Policy Optimization) :

• Récompense d'Ajout ($\rho_{add}$) : Combine le gain d'information de réponse conditionnelle en ligne (CAIG) et le crédit rétrospectif (hindsight credit).
  • CAIG : Récompense l'amélioration immédiate de l'état de la preuve lors de l'ajout d'un nouvel élément.
  • Crédit Rétrospectif : Si un élément fait partie de l'ensemble de preuves conservées final $E_F$, il reçoit un crédit basé sur la façon dont la valeur finale chuterait si cet élément était retiré (une approximation de type Shapley). Cela garantit que les preuves précoces et nécessaires ne sont pas sous-créditées dans le raisonnement multi-étapes.
• Récompense de Suppression ($\rho_{drop}$) : Récompense le retrait d'une preuve si cela améliore l'état de la preuve conditionné par la réponse (c'est-à-dire la suppression d'un distracteur). Elle pénalise la suppression de preuves utiles.
• Récompense de Lien ($\rho_{link}$) : Récompense la synthèse explicite de preuves complémentaires. Elle utilise un score de synergie par paire pour mesurer si deux éléments sont plus précieux ensemble que séparément.
• Récompense de Réponse ($\rho_{ans}$) : Une récompense binaire basée sur la correspondance de sous-chaînes avec la vérité terrain pour assurer le succès de la tâche.

2.4 Procédure d'Entraînement

L'entraînement se déroule en deux étapes :

1. SFT de Démarrage à Froid (Cold-Start) : Fine-tuning supervisé sur des trajectoires d'actions valides pour enseigner au modèle l'interface de mémoire éditable et la grammaire des actions.
2. Entraînement par RL : Le modèle est optimisé via GRPO avec les récompenses locales aux actions définies ci-dessus. L'objectif préserve l'attribution de crédit au niveau du processus, permettant à une trajectoire avec un mauvais « ajout » suivi d'une « suppression » corrective de recevoir respectivement des avantages négatifs et positifs appropriés.

3. Contributions Clés

1. Identification des Limites : Les auteurs identifient que les récompenses de RL en long contexte supervisent souvent l'extraction statique de preuves plutôt que les transitions d'état de preuve, menant à un ancrage prématuré sur des chemins incorrects.
2. Cadre MAVEN : Propose un cadre de mémoire de preuve éditable qui définit une valeur d'état de preuve conditionnée par la réponse. Il entraîne les LLM à ajouter, lier, supprimer et répondre via des récompenses de processus locales aux actions et liées à l'état.
3. Validation Empirique : Démontre des gains constants à travers différentes familles de modèles (Llama, Qwen) et benchmarks, fournissant une preuve diagnostique que MAVEN améliore la suffisance de preuve (couverture de la preuve d'or) et réduit la rétention de distracteurs (conservation de preuves trompeuses).

4. Résultats Expérimentaux

Les auteurs ont évalué MAVEN sur Llama-3.1-8B, Qwen2.5-14B et Qwen3-30B-A3B à travers LongBench v2, LongReason et RULER.

• Performance : MAVEN a systématiquement surpassé tous les modèles de référence, y compris les baselines de RL basées uniquement sur le résultat et celles combinant résultat et identification de preuves. Sur LongBench v2, MAVEN a amélioré la meilleure baseline de +3,5 à +4,0 points selon la taille des modèles.
• Spécificités du Long Contexte : Les gains étaient particulièrement prononcés dans les divisions de long contexte (ex: 128K), suggérant que la méthode est cruciale lorsque les réponses dépendent d'informations distribuées.
• Métriques Diagnostiques :
  • Suffisance de Preuve : MAVEN a atteint une suffisance de >85 %, nettement supérieure aux baselines.
  • Rétention de Distracteurs : MAVEN a considérablement réduit le pourcentage de preuves conservées correspondant à des distracteurs, démontant la capacité du modèle à réviser sa mémoire.
• Études d'Ablation :
  • Retirer la récompense de suppression a entraîné la plus haute rétention de distracteurs.
  • Retirer la récompense de lien a abaissé la suffisance de preuve.
  • Retirer la récompense d'ajout a causé la plus forte chute du score global.
  • Une variante utilisant des récompenses calculées uniquement à partir de l'ensemble de preuves final (ignorant les étapes intermédiaires) a été nettement moins performante, confirmant la nécessité des récompenses de processus locales aux actions.
• Généralisation : L'évaluation sur MMLU-Pro a montré que l'entraînement MAVEN n'a pas dégradé les capacités générales de raisonnement en court contexte.

5. Signification et Revendications

L'article affirme qu'un RL efficace en long contexte nécessite l'optimisation des transitions d'état de preuve plutôt que la simple optimisation de l'extraction de preuves. En traitant le raisonnement comme un processus de navigation à travers une mémoire éditable, MAVEN permet aux modèles de :

• Se rétracter après avoir ajouté une preuve trompeuse (via les récompenses de suppression).
• Synthétiser des informations complémentaires (via les récompenses de lien).
• Reconnaître la nécessité d'une preuve précoce même lorsque sa valeur immédiate est faible (via le crédit rétrospectif).

Les auteurs positionnent MAVEN comme un complément à la recherche (retrieval), aux flux de travail agentiques et aux extensions architecturales de contexte, ciblant spécifiquement le goulot d'étranglement de l'apprentissage de la construction et de la révision de l'état de preuve utilisé pour le raisonnement.

Limites Reconnues :

• MAVEN repose sur des réponses d'or pendant l'entraînement pour calculer les valeurs via le vérificateur, ce qui limite son applicabilité directe aux tâches avec des réponses vérifiables.
• L'interface suppose que les preuves peuvent être représentées par des segments de texte bornés.
• Les annotations diagnostiques ont été construites pour une analyse contrôlée, et une évaluation humaine plus large de la qualité des preuves reste un travail futur.