Résumé Technique : HMARS

Énoncé du Problème

Le raisonnement sur contexte long nécessite que les modèles accèdent à des preuves, les récupèrent et les intègrent à partir de documents, de dialogues et d'historiques d'interactions étendus. Les approches classiques de Génération Augmentée par Récupération (RAG) réduisent généralement ce défi à un processus passif de récupération de segments (chunks) par similarité d'embedding (top-$K$). Les auteurs soutiennent que cette interface passive est fondamentalement défaillante pour les tâches de raisonnement complexes car elle suppose que la pertinence est locale et mesurable de manière statique. Par conséquent, le RAG écarte souvent des preuves pertinentes avant même que le raisonnement ne commence, particulièrement lorsque :

1. Étendue des preuves : L'information requise est dispersée dans des régions distantes d'un document, nécessitant l'intégration de nombreux segments non adjacents.
2. Pertinence dépendante du contexte : Un passage devient pertinent uniquement lorsqu'il est interprété à la lumière d'un contexte plus large ou d'informations énoncées ailleurs (par exemple, une mention précoce d'une contrainte budgétaire devenant essentielle pour une question ultérieure sur le logement), malgré une faible superposition lexicale avec la requête.

Les solutions existantes, telles que les fenêtres de contexte plus larges, les résumés hiérarchiques ou la lecture séquentielle multi-agents, restent souvent passives ou centralisées, échouant à fournir un véritable système de mémoire où les régions locales participent activement à l'évaluation conditionnée par la requête sans exclusion précoce.

Méthodologie : HMARS

Les auteurs proposent HMARS (Système de Mémoire Hiérarchique Multi-Agents), qui traite les contextes longs comme une mémoire gérée plutôt que comme un corpus de récupération plat. Le système emploie une hiérarchie de modèles asymétrique ($L_{sub} \ll L_{mid} \ll L_{base}$) et opère en deux phases :

1. Phase d'Indexation

• Partitionnement : Le document d'entrée ou l'historique d'interaction est partitionné en régions locales bornées.
• Sous-Agents : Chaque région est gérée par un sous-agent léger ($L_{sub}$). La région est divisée en pages de taille fixe. Chaque sous-agent crée une Carte de Mémoire Locale contenant un résumé, des sujets, des entités et un index de pages. Cette carte expose ce que le sous-agent sait au niveau suivant sans servir de preuve finale.
• Agents Intermédiaires (Mid-Agents) : Les sous-agents sont regroupés sous des agents intermédiaires ($L_{mid}$). Un agent intermédiaire agrège les cartes de mémoire de ses sous-agents assignés pour construire une Mémoire Régionale Partagée. Cela inclut un résumé au niveau de la région, une cartographie des sous-agents vers leurs sujets/entités, et un mécanisme de recoupement pour suivre les dépendances (ex: entités partagées, mises à jour temporelles) entre des sous-agents isolés.

2. Phase de Requête

• Diffusion et Interprétation : Lors de la réception d'une requête, chaque agent intermédiaire interprète la requête par rapport à sa mémoire régionale partagée. Au lieu de prendre des décisions de routage strictes, il génère une interprétation de la requête au niveau de la région ($\gamma$) et des indices spécifiques ($h$) pour chaque sous-agent.
• Évaluation Locale Parallèle : Crucialement, chaque sous-agent effectue une évaluation de ses pages locales conditionnée par la requête en parallèle, guidé par les indices de l'agent intermédiaire. Cela garantit qu'aucune région du document n'est écartée par un filtre top-$K$ précoce.
• Récupération de Preuves Ancrées : Les pages sélectionnées sont dédoublonnées, triées par décalage de jeton (token offset) global, et reconstruites en un contexte de preuve ancré.
• Raisonnement Final : Un modèle de base frontal ($L_{base}$) effectue le raisonnement final et la synthèse de la réponse strictement sur les pages de preuves ancrées récupérées.

Contributions Clés

1. Benchmarks Diagnostiques : Les auteurs ont construit deux benchmarks spécifiquement conçus pour tester la robustesse face à l'étendue des preuves et la pertinence dépendante du contexte, allant au-delà du simple saut séquentiel :
   • Un Benchmark de Documents Longs dérivé de LongBench-v2, filtrant pour les questions nécessitant des preuves provenant d'au moins quatre segments distants avec un faible rappel RAG.
   • Un Benchmark de Mémoire d'Interaction Cumulative inspiré de RealMem, présentant des dialogues multi-tours où des faits clés sont dispersés et deviennent pertinents uniquement sous un contexte ultérieur.
2. Cadrage du Problème : L'article cadre les échecs de contexte long comme des limitations de l'accès à la mémoire basé sur des segments passifs, soulignant spécifiquement l'incapacité du RAG standard à gérer la couverture étendue des preuves et la pertinence dépendante du contexte.
3. Architecture HMARS : L'introduction d'un système hiérarchique qui sépare la gestion de la mémoire locale, la coordination régionale et le raisonnement final, assurant la prise en compte de l'intégralité du contexte par les agents locaux tout en réservant le modèle frontal puissant pour la synthèse finale.

Résultats Expérimentaux

HMARS a été évalué contre le RAG dense (avec divers budgets et tailles de segments), le re-classement (reranking) dense, le prompting de contexte complet, GraphRAG et des baselines agentiques (Chain-of-Agents, MemAgent).

• Performance : HMARS a obtenu la meilleure performance globale sur les deux benchmarks. Il a surpassé toutes les baselines sur la tâche de mémoire multi-tours et a atteint la précision la plus élevée dans la plupart des catégories de raisonnement sur documents longs (Synthèse, Comparaison, Causalité, Recoupement).
• Couverture des Preuves : L'analyse a révélé que HMARS couvre 99,4 % des segments de support annotés, tandis que les variantes RAG (même avec des budgets élevés) n'en couvraient qu'environ 57 %. Cela confirme que les gains de HMARS proviennent d'une récupération plus complète des preuves requises plutôt que d'un simple changement du prompt de réponse finale.
• Efficacité : Malgré l'utilisation de multiples appels de modèles, HMARS offre un compromis précision-calcul supérieur. Il atteint une précision plus élevée que le prompting de contexte complet (qui utilise les plus gros FLOPs) et le RAG à haut budget, en déplaçant le calcul du modèle frontal coûteux (lisant l'intégralité du contexte) vers des modèles légers de niveau local et intermédiaire gérant l'accès à la mémoire.
• Études d'Ablation :
  • Fanout Complet : Restreindre la participation aux seuls sous-agents sélectionnés par l'agent intermédiaire a considérablement réduit la précision, validant la nécessité que chaque région locale évalue la pertinence.
  • Coordination par l'Agent Intermédiaire : Supprimer la couche de l'agent intermédiaire a dégradé les performances, particulièrement dans les tâches multi-tours, prouvant la nécessité d'un contexte régional partagé.
  • Allocation de Modèles : L'utilisation d'un modèle plus grand pour les sous-agents n'a apporté aucun gain significatif, soutenant la conception asymétrique où des modèles légers gèrent les pages locales.

Signification et Revendications

L'article affirme que le raisonnement sur contexte long ne doit pas être formulé uniquement comme la récupération de plus de segments ou l'extension des fenêtres de contexte. Au lieu de cela, il préconise la construction de systèmes de mémoire qui gèrent, accèdent et ancrent activement les preuves à travers l'entrée.

Les auteurs affirment que HMARS démontre que :

1. La récupération top-$K$ passive échoue lorsque les preuves sont dispersées ou dépendantes du contexte.
2. Organiser les entrées comme une mémoire locale gérée, où chaque région participe à l'évaluation conditionnée par la requête, est plus efficace que le traitement centralisé ou séquentiel.
3. L'allocation asymétrique de modèles permet la prise en compte de l'intégralité du contexte sans encourir le coût prohibitif de l'alimentation de l'intégralité du contexte à un modèle frontal.

L'article conclut que bien que HMARS améliore l'accès aux preuves, il ne garantit pas un rappel parfait, car les agents locaux peuvent encore manquer des pages. De plus, les auteurs notent que leurs benchmarks diagnostiques ciblent spécifiquement l'étendue des preuves et la dépendance au contexte, et que les bénéfices du système sont plus prononcés dans les tâches de mémoire d'interaction cumulative.