Résumé technique : Élagage de contexte pour les agents de codage via un raisonnement latent multi-critères

Énoncé du problème

Les agents de codage alimentés par des LLM (par exemple, SWE-agent, OpenHands) se heurtent à un « mur de contexte » critique. Bien que les frameworks les plus avancés automatisent des tâches complexes au niveau du dépôt, les agents consacrent environ 67 à 76 % de leur budget de jetons à la simple lecture de fichiers. Ce gonflement du contexte entraîne des coûts API prohibitifs et déclenche une « dilution de l'attention » ainsi que le phénomène « perdu au milieu », où des segments de code non pertinents dégradent la précision du raisonnement.

Les méthodes d'élagage apprises existantes, telles que SWE-Pruner, formulent la réduction de contexte comme une tâche d'étiquetage de séquence structurée utilisant un champ aléatoire conditionnel (CRF) à objectif unique. Cependant, cette formulation crée un goulot d'étranglement de modélisation : elle tente de modéliser toutes les facettes de la pertinence du code (par exemple, des plages sémantiques contiguës et des lignes de support structurel dispersées comme les imports ou les paires de flux de contrôle) avec une seule matrice de transition. Par conséquent, le modèle biaise vers des blocs sémantiques denses et rejette fréquemment des lignes structurellement nécessaires (par exemple, imports, en-têtes de classes, blocs try/except) qui ont de faibles scores sémantiques mais sont essentielles à la validité syntaxique et au raisonnement de l'agent. Cela entraîne une syntaxe brisée, des tentatives de reprise répétées de l'agent et, in fine, une consommation de jetons supérieure à celle des bases de référence non élaguées.

Méthodologie : LaMR (Latent Multi-Rubric)

Les auteurs proposent LaMR, un cadre d'élagage structuré qui décompose la pertinence du code en dimensions de qualité interprétables, modélisées par des têtes CRF dédiées et fusionnées via un réseau de commutation adaptatif à la requête.

1. Formulation multi-critères latente

Au lieu d'un score de pertinence unique, LaMR décompose les raisons de rétention en $K$ rubriques latentes. En pratique, les auteurs utilisent deux dimensions :

• Preuve sémantique : Lignes directement pertinentes par rapport à la requête (pertinence thématique).
• Support de dépendance : Lignes structurellement nécessaires pour interpréter la preuve (imports, en-têtes de portée, frères de flux de contrôle comme try/except).

Chaque dimension $k$ est modélisée par une tête CRF dédiée avec sa propre matrice de transition apprenable $T^{(k)}$. Cela permet au modèle d'apprendre des dynamiques séquentielles distinctes : la pertinence sémantique favorise de longs blocs contigus (forte auto-transition), tandis que le support de dépendance tolère des alternances fréquentes (lignes dispersées et structures appariées).

2. Commutation adaptative à la requête

Un réseau de commutation léger de type Mixture-of-Experts (MoE) pondère dynamiquement les émissions par rubrique en fonction de la requête de l'agent. Pour chaque jeton $t$, la commutation produit des poids $g_t \in \Delta^{K-1}$, et l'émission fusionnée est calculée comme suit :
$$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$$
Cela permet au modèle de déplacer son attention entre les signaux sémantiques et structurels en fonction de l'intention spécifique de la tâche.

3. Étiquetage guidé par les rubriques (Dénommage basé sur l'AST)

Pour superviser ces dimensions sans annotation humaine supplémentaire, les auteurs introduisent l'étiquetage guidé par les rubriques. En utilisant les masques binaires existants de conservation/élagage du LLM enseignant (corpus d'entraînement de SWE-Pruner) et l'analyse statique du programme (AST), ils dérivent des étiquettes de rubrique fines :

• Étiquettes sémantiques : Mappent directement le score de pertinence au niveau du document de l'enseignant vers les lignes conservées.
• Étiquettes de dépendance : Propagent les scores des lignes conservées vers leurs dépendances structurelles (imports, définitions, en-têtes englobants et frères de flux de contrôle) via les arêtes de l'AST.
  Ce processus « débruite » efficacement les étiquettes de l'enseignant, récupérant les lignes structurellement nécessaires que l'enseignant aurait pu élaguer sur la base de faibles scores sémantiques.

4. Architecture et inférence

• Backbone : Un reranker de 0,6 milliard de paramètres (Qwen3-Reranker) avec fusion de caractéristiques multi-couches (concaténation des états cachés des couches initiales, intermédiaires et finales).
• Entraînement : Le modèle est entraîné avec une somme pondérée de la perte CRF principale (sur les émissions fusionnées) et des pertes CRF spécifiques aux rubriques.
• Inférence : LaMR agit comme un middleware léger. Il traite des fragments de code, effectue un décodage de Viterbi sur les émissions fusionnées pour générer des décisions binaires de conservation/élagage, et applique un dernier passage de post-traitement conscient de l'AST. Ce passage répare le code élagué en réinsérant les en-têtes de portée manquants, les imports et les compagnons de flux de contrôle pour garantir la validité syntaxique.

Contributions clés

1. Formulation multi-critères latente : Identifie et résout le conflit de transition dans l'élagage à objectif unique en modélisant la pertinence du code via des têtes CRF séparées pour les dimensions sémantique et de dépendance.
2. Commutation adaptative à la requête : Introduit un réseau de commutation MoE pour équilibrer dynamiquement les signaux sémantiques et structurels en fonction de la requête de l'agent.
3. Dénommage d'étiquettes basé sur l'AST : Développe un pipeline à coût nul pour extraire des étiquettes multidimensionnelles à partir de masques binaires, corrigeant les tokens structurels manquants dans les données de l'enseignant sans annotation supplémentaire.
4. Compromis efficacité-performance supérieur : Démontre que la préservation d'unités auto-contenues de preuve-support (lignes pertinentes pour la tâche + contexte structurel) permet au contexte élagué de égaler ou de dépasser les bases de référence à contexte complet tout en réduisant considérablement l'utilisation de jetons.

Résultats expérimentaux

Les auteurs ont évalué LaMR sur quatre benchmarks (SWE-Bench Verified, SWE-QA, LCC, LongCodeQA) en utilisant deux modèles de base (Claude Sonnet 4.5 et Opus 4.6).

• Tâches multi-tours (SWE-Bench, SWE-QA) :

  • LaMR remporte 12 comparaisons directes sur 16 face au SWE-Pruner à objectif unique.
  • Il économise jusqu'à 31 % de jetons supplémentaires sur les tâches multi-tours par rapport aux bases de référence non élaguées.
  • Crucialement, alors que SWE-Pruner augmente parfois l'utilisation de jetons avec des modèles plus puissants (en raison d'échecs structurels provoquant des réessais), LaMR réduit ou limite systématiquement la surcharge.
  • Les baisses de performance sont marginales (par exemple, ≤0,6 point de pourcentage sur le taux de réussite), tandis que les gains d'efficacité sont substantiels.

• Tâches à tour unique (LCC, LongCodeQA) :

  • LaMR améliore les métriques de qualité des tâches (Exact Match, Similarité d'édition, Précision) sur toutes les contraintes de compression (4× et 8×).
  • Des gains notables incluent +3,5 Exact Match sur LCC à une compression 8× et +1,80 Précision sur LongCodeQA à 4×.
  • Les bases de référence au niveau du jeton (LLMLingua-2, Selective-Context) se dégradent fortement à haute compression, tandis que LaMR maintient la stabilité grâce à la granularité au niveau de la ligne et à la préservation structurelle.

• Études d'ablation :

  • Le retrait de la rubrique de dépendance ou de la réparation consciente de l'AST dégrade considérablement les performances, confirmant que le support structurel est distinct et complémentaire de la pertinence sémantique.
  • La récupération grossière (par exemple, LongCodeZip) combinée à l'élagage fin de LaMR produit les meilleurs résultats, tandis que l'empilement de plusieurs compresseurs de lignes nuit aux performances.

Importance et revendications

L'article revendique que LaMR représente un passage du « suppression de jetons » à la « préservation d'unités auto-contenues de preuve-support ». En séparant explicitement la preuve sémantique du support de dépendance, le cadre adresse la tension inhérente à la pertinence du code : une ligne peut être sémantiquement non pertinente mais structurellement critique.

Les auteurs affirment que LaMR offre un compromis strictement meilleur entre la compression de contexte et la qualité des tâches en aval par rapport aux méthodes antérieures. Il permet aux agents de codage de fonctionner plus efficacement sans sacrifier l'intégrité structurelle requise pour un raisonnement complexe, filtrant efficacement le bruit distractif tout en maintenant le « signal » nécessaire à la réussite de la tâche. Ce travail suggère que la gestion future du contexte pour les agents doit dépasser les scores de pertinence scalaires uniques pour se tourner vers un raisonnement structuré et multidimensionnel sur les dépendances du code.