Résumé Technique : MemoryDocDataSet

Problématique

Les benchmarks d'IA actuels évaluent la mémoire conversationnelle et le raisonnement sur documents longs de manière isolée, échouant ainsi à capturer les exigences des assistants IA du monde réel qui doivent opérer simultanément sur ces deux domaines. Les benchmarks de mémoire existants (ex. LoCoMo, LongMemEval) utilisent des dialogues multi-sessions mais manquent de documents longs, ce qui permet aux systèmes de réussir grâce à une mémorisation parfaite de la conversation sans capacité de lecture. À l'inverse, les benchmarks de documents longs (ex. L-Eval, ZeroSCROLLS) fournissent des textes de la longueur de livres mais manquent de structure conversationnelle, permettant aux systèmes de réussir grâce à de larges fenêtres de contexte sans navigation mémorielle.

Il existe un écart critique dans l'évaluation de la capacité conjointe requise pour :

1. Naviguer dans l'historique des conversations multi-sessions pour identifier un contexte.
2. Déterminer quel document spécifique est pertinent en se basant sur ce contexte.
3. Effectuer une lecture approfondie et une compréhension au sein de ce document identifié pour extraire une réponse.

Cet « écart de recherche conjointe » est illustré par des scénarios tels qu'un assistant juridique se rappelant quel contrat un client a évoqué lors d'une session précédente, puis naviguant dans 40 000 jetons de ce contrat pour trouver une clause spécifique.

Méthodologie

Le Benchmark MemoryDocDataSet

Les auteurs introduisent MemoryDocDataSet, un benchmark synthétique comprenant 50 micro-mondes et 1 000 paires question-réponse (QA). Chaque micro-monde est un scénario autonome défini par le tuple $M = (P, G, D, C, Q)$ :

• Personnages ($P$) : 3 à 5 entités avec des rôles, des expertises et des relations définis.
• Graphe d'événements ($G$) : Un graphe orienté acyclique (DAG) temporel de 5 à 10 événements horodatés s'étendant sur au moins six mois, encodant des dépendances causales.
• Documents ($D$) : 3 à 5 documents réels longs (20 000 à 50 000 jetons chacun) provenant du Caselaw Access Project (opinions judiciaires des États-Unis).
• Conversations ($C$) : 5 sessions de dialogue multi-sessions ancrées à des événements spécifiques, avec au moins 40 % des sessions faisant explicitement référence à des documents.
• Paires QA ($Q$) : 20 paires par micro-monde à travers cinq catégories de raisonnement (Simple saut, Multi-saut, Temporel, Mise à jour des connaissances, Adversaire).

La dimension de la source :
L'innovation déterminante est l'annotation par étiquette de source pour chaque paire QA, catégorisant la source d'information requise :

• Chat-only (Chat uniquement) : Réponse dérivable de l'historique de conversation seul.
• Doc-only (Document uniquement) : Réponse dérivable des documents longs seuls.
• Hybrid (Hybride) : Nécessite un processus en deux étapes : (1) utiliser le contexte de la conversation pour identifier le document pertinent, et (2) lire ce document pour extraire la réponse.
• Distribution : Les questions hybrides constituent 75,1 % du dataset, avec un seuil de conception de 30 % par micro-monde.

Pipeline de Génération

Le dataset est généré via un pipeline automatisé complet en sept étapes piloté par configuration utilisant des LLM (Claude Sonnet 4.6) :

1. Collecte de documents : Sourcing et regroupement de textes juridiques réels.
2. Génération de Personnages & Graphe d'événements : Création de rôles synthétiques et d'événements temporels.
3. Génération de Conversations : Génération de dialogues fondés sur le graphe d'événements.
4. Génération de QA : Création de questions avec références d'évidence.
5. Vérification de la Qualité : Un protocole de "LLM-as-judge" utilisant des prompts stricts et souples pour mesurer la cohérence de la sensibilité au prompt (médiane du coefficient $\kappa$ de Cohen = 0,634).
6. Packaging du Dataset : Division en train/val/test (70/14/16) avec isolation des documents.
7. Évaluation de base.

Expériences de Référence (Baselines)

Six configurations de référence ont été évaluées sur le split de test (162 paires QA, 8 micro-mondes) en utilisant le F1 au niveau du token et l'Exact Match (EM) :

1. LLM de base : Contexte tronqué (4 096 jetons).
2. LLM à Contexte Long : Contexte complet (60 000 jetons).
3. RAG-Conv : Recherche sur les segments de conversation uniquement.
4. RAG-Doc : Recherche sur les segments de documents uniquement.
5. RAG-Both : Recherche conjointe sur les deux modalités.
6. Système de Mémoire : Extraction de faits basée sur un graphe à partir des conversations.

Résultats Clés

Performance sur les Questions Hybrides

Les résultats révèlent un important « écart de recherche conjointe » :

• RAG-Doc a obtenu un solide 0,453 F1 sur les questions Doc-only mais s'est effondré à 0,267 F1 sur les questions Hybrides. Cela démontre que la recherche documentaire sans navigation conversationnelle est insuffisante pour le raisonnement conjoint.
• RAG-Both a obtenu la meilleure performance globale (0,358 F1) et a amélioré la performance Hybride à 0,342 F1, confirmant que l'incorporation de la recherche conversationnelle récupère une grande partie de l'écart.
• LLM à Contexte Long (0,323 global) a performé de manière seulement marginalement supérieure au LLM de base (0,317) malgré une augmentation de 15x du contexte. Il a présenté la précision d'abstention la plus faible (0,844), suggérant que l'expansion des fenêtres de contexte sans recherche structurée entraîne une augmentation des hallucinations sur les questions sans réponse (effet "perdu au milieu").

Asymétrie de Spécialisation

Une asymétrie de spécialisation claire a été observée : les systèmes forts sur une étiquette de source (ex. RAG-Doc sur Doc-only) étaient faibles sur l'étiquette complémentaire (Hybrid). Même la meilleure baseline (RAG-Both) a sous-performé de manière significative par rapport aux attentes humaines, indiquant que les architectures actuelles ne supportent pas nativement la stratégie de navigation en deux étapes requise pour les tâches Hybrides.

Signification et Revendications

Le papier revendique les contributions et significations suivantes :

1. Premier Benchmark Conjoint : MemoryDocDataSet est le premier benchmark évaluant simultanément l'historique de conversation multi-sessions et le raisonnement sur documents longs, formalisé par l'étiquette de source Hybride.
2. Écart Mesurable : Le benchmark quantifie un écart architectural spécifique : l'incapacité des systèmes actuels à naviguer d'abord dans la conversation pour identifier un document, puis à effectuer une recherche dans ce document spécifique.
3. Implications pour la Conception de Systèmes : Les résultats suggèrent que l'augmentation de la taille de la fenêtre de contexte ou l'utilisation d'un RAG standard est insuffisante. La prochaine génération d'assistants IA nécessite des architectures qui unifient la mémoire conversationnelle avec la navigation dans les documents longs, en implémentant spécifiquement une stratégie de recherche en deux étapes (conversation $\to$ identification du document $\to$ recherche dans le document).
4. Libération de Ressources : Les auteurs publient le dataset, le pipeline de génération et toutes les implémentations de référence pour faciliter la recherche sur cette capacité conjointe.

Le papier maintient un ton modeste concernant la performance humaine, notant qu'une borne supérieure humaine formelle n'a pas été mesurée et que la vérification actuelle par LLM-as-judge sert de proxy pour la cohérence plutôt que pour la correction absolue. Les limites reconnues incluent la spécificité du domaine (texte juridique américain), la nature synthétique des conversations et le périmètre limité à l'anglais.