💬 NLP

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

Cet article identifie la « copie répétitive » comme un mode de défaillance critique dans le raisonnement à contexte long, où les modèles copient indistinctement le texte d'entrée plutôt que de se concentrer sur les preuves clés, et propose GEAR, une méthode d'apprentissage par renforcement sensible aux preuves qui améliore la performance en récompensant l'ancrage dans des informations pertinentes tout en pénalisant le recours à des distracteurs non pertinents.

Auteurs originaux : Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

Publié 2026-07-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un roman de mystère géant de 100 pages où les indices sont cachés dans le premier chapitre, mais où le reste du livre n'est qu'un mur de bruit. Vous avez un ami détective super intelligent (un grand modèle de langage) capable de lire tout le livre en une seconde. Par le passé, ces détectives étaient excellents pour les nouvelles, mais quand vous leur avez donné ce roman de 100 pages, ils ont commencé à agir bizarrement. Au lieu de réfléchir, ils ont commencé à paniquer et à copier. Ils ont commencé à écrire leurs notes de détective en collant simplement d'énormes blocs du livre original sur la page, encore et encore. Ce document, intitulé « Copy Less, Ground More », explore ce glitch spécifique. Il explore comment ces modèles d'IA de « réflexion », conçus pour raisonner étape par étape, se retrouvent coincés dans une boucle de copie machinale lorsque l'histoire devient trop longue. Les chercheurs ont découvert qu'il ne s'agit pas seulement d'une habitude inoffensive ; c'est un piège qui rend l'IA plus stupide, plus lente et moins capable de résoudre l'énigme. Ils proposent une nouvelle façon d'entraîner ces IA, en leur apprenant à ignorer le bruit et à se concentrer uniquement sur les indices minuscules et cruciaux qui comptent réellement.

Le problème commence lorsque ces détectives d'IA sont confrontés à un défi de « contexte long ». Considérez un contexte long comme une bibliothèque massive où la réponse à une question est enfouie quelque part parmi des millions de mots. Le document identifie un mode de défaillance critique appelé « copie répétitive ». Lorsque la bibliothèque devient immense, l'IA arrête de réfléchir et commence à agir comme une photocopieuse au cerveau défectueux. Au lieu de trouver la solution, elle se contente de copier de longs passages du prompt (la question et l'histoire) directement dans sa propre trace de raisonnement. Les chercheurs ont constaté que cela se produit dans presque tous les modèles de pointe testés, et que cela s'aggrave à mesure que l'histoire s'allonge. C'est comme un étudiant qui passe un examen et qui, au lieu de résoudre le problème de mathématiques, commence simplement à réécrire la page du manuel dans sa copie. Ce comportement est omniprésent, apparaissant dans sept modèles frontières différents, et s'intensifie à mesure que la longueur du contexte passe de 8 000 à 64 000 mots.

Mais pourquoi l'IA fait-elle cela ? Les auteurs ont creusé plus profondément et ont réalisé que la cause profonde n'est pas que la copie soit mauvaise en soi, mais que l'IA copie tout de manière indiscriminée. Ils ont découvert que l'IA ne parvient pas à s'« ancrer » dans les preuves clés. Imaginez que vous cherchiez un fil rouge spécifique dans une énorme pelote de laine. Un détective intelligent ne tirerait que le fil rouge. L'IA confuse, cependant, attrape toute la pelote de laine, y compris tout le bazar bleu, vert et jaune, et l'entraîne avec elle. Le document montre que lorsque l'IA copie principalement le texte « distracteur » (le bazar), elle échoue à la tâche. Mais lorsqu'elle copie sélectivement la « preuve clé » (le fil rouge), elle réussit. Le problème n'est pas la copie ; c'est le manque de concentration. L'IA se noie dans des détails non pertinents parce qu'elle ne sait pas comment distinguer le signal du bruit.

Pour corriger cela, l'équipe a inventé une nouvelle méthode d'entraînement appelée GEAR (Grounding Evidence-Aware Reward). Considérez cela comme un nouvel ensemble de règles pour un jeu vidéo. Dans l'ancien jeu, l'IA ne recevait des points que si elle trouvait la réponse finale. Dans le nouveau jeu GEAR, les règles sont plus strictes. L'IA reçoit un point de bonus si sa trace de raisonnement chevauche la « preuve clé » spécifique (le fil rouge). Mais voici le plus important : elle reçoit une lourde pénalité si sa trace chevauche le texte « distracteur » (le bazar). Cela crée un bras de fer. L'IA apprend que pour gagner, elle doit être un tireur d'élite, pas une mitrailleuse. Elle doit trouver les bons indices et ignorer le reste. Pour faire fonctionner cela sur des documents du monde réel (pas seulement des problèmes mathématiques inventés), ils ont construit un pipeline automatisé qui agit comme un éditeur intelligent, découpant les documents longs pour identifier quelles parties sont les « preuves » et quelles parties ne sont que du « remplissage », créant ainsi un ensemble de données d'entraînement de 3 200 problèmes.

Lorsqu'ils ont testé cette nouvelle méthode, les résultats ont changé la donne. Ils ont entraîné trois tailles différentes de modèles d'IA (allant de 9 milliards à 35 milliards de paramètres) en utilisant ce système de récompense GEAR. Les résultats ont montré que GEAR battait systématiquement les méthodes d'entraînement standard. En moyenne, il a amélioré les performances de l'IA jusqu'à 4,6 points sur divers benchmarks difficiles. Plus important encore, il a corrigé les mauvaises habitudes : l'IA a moins copié, ses traces de « réflexion » sont devenues plus courtes et plus efficaces, et elle est devenue réellement meilleure pour résoudre des problèmes, en particulier dans des contextes très longs (jusqu'à 128 000 mots). Le document suggère que même lorsque l'IA évolue vers un raisonnement complexe, la capacité de s'appuyer fermement sur les bonnes preuves est la compétence la plus importante de toutes. Sans elle, l'IA se perd simplement dans sa propre copie. Avec GEAR, elle apprend à moins copier et à s'ancrer davantage, transformant une photocopieuse chaotique en un détective affûté.

Résumé technique : GEAR (Grounding Evidence-Aware Reward)

Problème : Copie répétitive dans le raisonnement à contexte long

L'article identifie un mode de défaillance critique des grands modèles de langage (LLM) dotés de capacités de raisonnement étape par étape lorsqu'ils sont appliqués à des tâches à contexte long : la copie répétitive. Bien que ces modèles excellent dans le raisonnement complexe, les auteurs observent qu'à mesure que la longueur du contexte augmente, les modèles ont tendance à copier indistinctement de larges passages du prompt d'entrée dans leurs traces de raisonnement plutôt que de résoudre le problème de manière productive.

À travers une analyse empirique systématique sur sept LLM de pointe (incluant les séries Qwen, Claude et DeepSeek) sur le benchmark GSM-Infinite, les auteurs démontrent que :

Prévalence : La copie répétitive est omniprésente et s'intensifie avec la longueur du contexte (par exemple, les taux de chevauchement de 3-grammes passent d'environ 20 % à 8k tokens à environ 70 % à 64k tokens).
Dégradation des performances : Les taux de copie élevés sont fortement corrélés à une précision de tâche plus faible et à des longueurs de raisonnement significativement gonflées. Les modèles qui consacrent leur budget de tokens à la transcription plutôt qu'au raisonnement produisent des traces plus longues et moins utiles.
Cause profonde : Le problème central est un ancrage insuffisant dans l'évidence (grounding). Le problème n'est pas la copie en soi, mais le manque de sélectivité. Les échantillons correctement répondus présentent un chevauchement élevé avec l'« évidence clé » pertinente pour la tâche et un faible chevauchement avec le « contexte distracteur ». À l'inverse, les échantillons incorrects copient indistinctement à partir des deux, échouant à distinguer l'information pertinente du bruit non pertinent.

Méthodologie : GEAR et construction automatisée de données

Pour remédier à l'ancrage insuffisant, les auteurs proposent GEAR (Grounding Evidence-Aware Reward), une méthode de façonnage de récompense pour l'apprentissage par renforcement (RL) qui augmente les signaux de précision standard par deux composantes complémentaires :

1. Conception de la récompense

La fonction de récompense GEAR $R(x, y)$ est définie comme :
$R(x, y) = R_{acc} + \alpha \cdot \text{Overlap}_n(y \| x_{key}) - \beta \cdot \text{Overlap}_n(y \| x_{dist})$
Où :

$R_{acc}$ : Récompense de précision binaire.
$\text{Overlap}_n(y \| x_{key})$ : Récompense d'ancrage (Grounding Reward). Encourage le chevauchement entre la trace de raisonnement $y$ et les segments d'évidence clés annotés $x_{key}$ .
$\text{Overlap}_n(y \| x_{dist})$ : Pénalité de distracteur (Distractor Penalty). Pénalise le chevauchement entre la trace et le contexte distracteur non pertinent $x_{dist}$ .
$\alpha, \beta$ : Coefficients non négatifs (optimisés à $\alpha=0,1, \beta=0,3$ ).
$n$ : Taille des n-grammes (fixée à 3 pour l'entraînement afin de fournir des signaux de gradient denses).

Crucialement, les auteurs constatent que l'utilisation de la seule récompense d'ancrage (sans la pénalité de distracteur) est préjudiciable, car elle incite à copier à partir de toutes les parties de l'entrée, y compris les distracteurs. Les deux composantes sont nécessaires pour apprendre au modèle à s'engager sélectivement avec l'évidence tout en ignorant le bruit.

2. Pipeline automatisé de données avec annotation d'évidence

Pour appliquer GEAR à des données en langage naturel où les segments d'évidence de vérité terrain ne sont pas nativement disponibles, les auteurs développent un pipeline automatisé en trois étapes :

Analyse du document : Un LLM analyse un document pour identifier les caractéristiques informationnelles et les types de questions appropriés.
Génération de QA contrainte par l'évidence : Le document est segmenté en blocs. Un sous-ensemble aléatoire (1–3 blocs) est échantillonné comme « contexte de contrainte » (évidence clé). Un LLM génère une question répondable uniquement à partir de ce sous-ensemble, ainsi que les citations exactes de l'évidence et une réponse.
Vérification de la réponse : La question est de nouveau répondue en utilisant uniquement le contexte de contrainte. Les paires ne sont conservées que si la réponse redérivée correspond à la référence, garantissant que la question est sans ambiguïté ancrée dans l'évidence désignée.

Ce pipeline permet la construction de données d'entraînement à partir de corpus de documents arbitraires (ex: RedPajama-v2), complétant les benchmarks synthétiques comme GSM-Infinite et PhantomWiki.

3. Configuration de l'entraînement

Les auteurs entraînent trois modèles Qwen3.5 (9B, 27B et 35B-A3B) en utilisant la Group Sequence Policy Optimization (GSPO) sur un mélange de 3 200 échantillons à contexte long (synthétiques et en langage naturel). Les modèles sont entraînés pendant un époque avec des contextes allant de 16k à 32k tokens.

Résultats clés

Les auteurs valident GEAR sur cinq benchmarks de test (Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR) à des longueurs de contexte de 32k et 128k.

Gains de performance : GEAR surpasse systématiquement le RL standard avec des récompenses basées uniquement sur la précision.
- À 32k de contexte : Améliorations moyennes de +1,5 à +2,8 points.
- À 128k de contexte : Améliorations moyennes de +2,1 à +4,6 points.
- Notamment, les gains sont plus importants à 128k (4x la longueur de la distribution d'entraînement), suggérant que le comportement d'ancrage appris se généralise de manière robuste à des échelles de contexte non vues.
Ablation des composantes de la récompense :
- Ancrage seul (+Rground) : Performante moins bien que la base de référence de précision seule (chute jusqu'à 8,3 points à 128k). Cela augmente la copie et la longueur de réflexion sans améliorer la précision.
- Pénalité de distracteur seule : Donne également des résultats sous-optimaux, car elle supprime toute copie sans guider le modèle vers l'évidence pertinente.
- GEAR complet : Seule la combinaison des deux termes produit des améliorations constantes, confirmant la nécessité de distinguer le contexte pertinent de l'irrelevant.
Efficacité : GEAR réduit à la fois le taux de copie répétitive (chevauchement) et la longueur de réflexion. Par exemple, sur le benchmark Ruler, GEAR a réduit le chevauchement de 36,9 % (Base) à 27,0 % et la longueur de réflexion de 4 290 à 2 066 tokens, comparé à la base GSPO.

Signification et affirmations

L'article affirme que tant que l'évaluation du contexte long passe de la simple recherche à un raisonnement complexe, un ancrage précis dans l'évidence pertinente reste une capacité indispensable. Les auteurs soutiennent que la forme dominante de « sur-réflexion » (overthinking) dans les contextes longs n'est pas une élaboration sans but, mais une copie directe et indistincte du prompt.

En introduisant GEAR, ce travail démontre que :

La copie répétitive est un mode de défaillance spécifique et adressable lié à un ancrage insuffisant dans l'évidence.
Le façonnage de la récompense qui pénalise explicitement le chevauchement des distracteurs tout en récompensant l'engagement avec l'évidence clé peut atténuer efficacement ce comportement.
Les pipelines automatisés peuvent étendre ces bénéfices des benchmarks synthétiques aux données en langage naturel, permettant un entraînement scalable pour le raisonnement à contexte long sans annotation manuelle.

Les conclusions suggèrent que même pour les modèles de raisonnement avancés, la capacité à prêter attention de manière sélective et à ancrer le raisonnement dans des segments d'évidence spécifiques est un goulot d'étranglement critique que les méthodes actuelles de RL, lorsqu'elles sont optimisées uniquement pour la précision, ne parviennent pas à résoudre.