Résumé Technique : Mémoire Visuelle Personnelle à partir de Preuves Explicites et Implicites

Énoncé du Problème

La mémoire à long terme devient de plus en plus cruciale pour les agents IA personnalisés, pourtant la recherche actuelle et les benchmarks restent principalement centrés sur le texte. Bien que les benchmarks multimodaux existants puissent inclure des images, les informations nécessaires pour répondre aux questions ultérieures sont généralement récupérables à partir du texte accompagnateur seul. De plus, les systèmes de mémoire dominants réduisent souvent les tours d'images à des légendes génériques, un processus « avec perte » car il élimine des détails visuels cruciaux tels que l'identité, la propriété et les indices visuels récurrents.

L'article identifie un vide dans le domaine : l'incapacité des systèmes actuels à conserver et à raisonner sur une mémoire visuelle personnelle qui existe au-delà des énoncés textuels explicites. Cela inclut deux formes distinctes de preuves :

1. Preuves Explicites : Entités visuelles récurrentes (par exemple, un animal de compagnie ou un objet spécifique) qui apparaissent dans plusieurs images mais peuvent ne pas être explicitement nommées ou discutées dans le dialogue.
2. Preuves Implicites : Faits latents de l'utilisateur (par exemple, posséder un chat, avoir un hobby spécifique) qui doivent être déduits à partir d'indices visuels ou multimodaux, même lorsque la conversation n'est pas liée à ce fait.

Les benchmarks existants échouent à tester ces capacités car ils ne requièrent pas des agents qu'ils résolvent l'ambiguïté d'identité ou de propriété au fil du temps en utilisant la cohérence visuelle, ni qu'ils déduisent des faits uniquement à partir de proxies visuels.

Méthodologie

1. Construction du Benchmark (VisualMem)

Pour pallier le manque de données d'évaluation adaptées, les auteurs introduisent VisualMem, un benchmark synthétique conçu pour simuler des interactions multimodales à long horizon ancrées dans des personas utilisateurs persistants. Le pipeline de construction comporte quatre étapes :

• Contexte de Persona Multimodal : Un contexte structuré est construit pour chaque utilisateur, incluant un profil (démographie, intérêts), un graphe social (famille, amis), des actifs associés à l'utilisateur (animaux, objets) et une chronologie d'événements.
• Génération de Conversations : Trois types de conversations sont générés pour tester différentes capacités de mémoire :
  • Entité Explicite : Les images contiennent des entités cibles récurrentes (personnes ou actifs) pour tester si le modèle peut les suivre à travers les interactions.
  • Fait Implicite : Les images contiennent des proxies visuels (par exemple, un arbre à chat) qui impliquent un fait (par exemple, « l'utilisateur possède un chat ») sans que le texte ne l'énonce explicitement. Cela inclut les variantes Uniquement Visuelle (fait déduit uniquement de l'image) et Multimodale (fait déduit en combinant image et texte).
  • Leurres : Interactions neutres ou « faux négatifs difficiles » (par exemple, le chat d'un ami) pour tester si le modèle évite d'attribuer faussement la propriété ou l'identité.
• Génération d'Images avec Cohérence Globale : En utilisant une génération d'images contrôlable, le système synthétise des images conditionnées par des images de référence d'entités persistantes et des descriptions de scènes. Cela garantit que le même utilisateur, animal de compagnie ou objet maintient une cohérence visuelle à travers différents événements et lieux, une exigence pour un raisonnement valide sur la mémoire à long terme.
• Génération de Questions : Des questions d'évaluation sont dérivées pour sonder la mémoire différée. Elles exigent que le modèle rappelle les identités des entités ou déduise des faits latents à partir de preuves visuelles antérieures, souvent présentées sous forme de questions à choix multiples où l'image n'est pas rediffusée.

L'ensemble de données comprend 10 personas, 1 717 événements, 1 718 images et 696 questions, avec une moyenne de 172 événements par persona.

2. Architecture Proposée : VISUALMEM

Les auteurs proposent VISUALMEM, un cadre de mémoire hybride visuel-textuel conçu pour s'intégrer aux systèmes de mémoire basés sur le texte existants (utilisant spécifiquement MemOS comme backend). Contrairement aux systèmes qui réduisent les images à des légendes, VISUALMEM emploie un pipeline de mémoire visuelle dédié comportant trois étapes :

• Étape 1 : Interprétation Guidée par le Contexte : Les images ne sont pas traitées isolément. Le système analyse conjointement l'image et son contexte conversationnel environnant pour résoudre les ambiguïtés concernant l'identité et la propriété de la scène (par exemple, distinguer « ma cuisine » de « la cuisine d'un ami »).
• Étape 2 : Engagement Différé : Reconnaissant que les preuves peuvent être insuffisantes pour un ancrage immédiat, le système place les images ambiguës dans un état en attente avec leur contexte original. À mesure que la conversation évolue et que davantage de souvenirs visuels s'accumulent, le système revisite ces images en attente. Cela permet au modèle de désambiguïser progressivement l'identité et la propriété à l'arrivée de nouvelles preuves, plutôt que de s'engager prématurément sur des extractions potentiellement bruyantes.
• Étape 3 : Extraction Structurée : Une fois une image confirmée, le système extrait des informations personnelles structurées à trois niveaux :
  • Niveau Relationnel : Inférence des liens sociaux et de la propriété.
  • Niveau Entité : Identification des personnes, objets et animaux de compagnie récurrents, stockage de références visuelles pour un appariement futur.
  • Niveau Fait : Extraction de faits durables sur l'utilisateur ancrés visuellement (par exemple, possessions, habitudes).
    Ces faits sont verbalisés et transmis au backend de mémoire textuelle pour consolidation, tandis que la mémoire visuelle structurée reste accessible pour la récupération.

Au moment de l'inférence, VISUALMEM achemine les requêtes vers la source de mémoire appropriée : les requêtes centrées sur l'entité sont résolues contre le magasin visuel structuré, tandis que les requêtes factuelles plus larges utilisent le backend de mémoire textuelle ou une combinaison des deux.

Résultats Clés

Performance sur le Benchmark de Mémoire Visuelle

Les expériences démontrent que VISUALMEM surpasse considérablement les systèmes de mémoire précédents sur le benchmark VisualMem :

• Précision Globale : VISUALMEM atteint une précision de 84,1 %, dépassant significativement la meilleure ligne de base existante basée sur la mémoire (MemOS à 56,0 %) et les méthodes basées sur RAG (Self-RAG à 22,1 %).
• Entités Explicites : Les gains les plus importants sont observés dans les tâches Personne Cible (95,0 % contre 45,0 % pour MemOS) et Actif Cible (91,1 % contre 59,9 %). Cela confirme que les méthodes basées sur les légendes échouent à préserver l'identité et la récurrence dans le temps, tandis que la mémoire visuelle structurée de VISUALMEM réussit.
• Faits Implicites : VISUALMEM améliore également les performances sur les tâches Fait Implicite (Uniquement Visuel : 77,9 % ; Multimodal : 83,4 %), démontrant sa capacité à déduire des faits latents à partir d'indices visuels et à les combiner avec le contexte du dialogue.

Performance sur les Benchmarks Centrés sur le Texte

Pour s'assurer que le module visuel ne dégrade pas les capacités textuelles existantes, les auteurs ont évalué VISUALMEM sur des benchmarks standard uniquement textuels (LOCOMO et PersonaMem).

• VISUALMEM a obtenu 58,1 % sur LOCOMO et 46,3 % sur PersonaMem, des résultats comparables à la ligne de base MemOS (56,8 % et 45,5 % respectivement).
• Cela indique que l'ajout de mémoire visuelle au système préserve ses performances en matière de mémoire textuelle.

Études d'Ablation

• Mémoire Visuelle vs Textuelle : L'utilisation de la seule mémoire textuelle a donné des résultats nettement inférieurs à l'utilisation de la seule mémoire visuelle sur les tâches d'entité, confirmant que le benchmark est piloté par des preuves visuelles. Cependant, la combinaison des deux a produit les meilleurs résultats, en particulier pour les faits implicites multimodaux.
• Engagement Différé : La suppression du mécanisme en attente a provoqué une baisse notable des performances (en particulier pour la Personne Cible), validant la nécessité de différer l'extraction jusqu'à ce que suffisamment de preuves s'accumulent.
• Fenêtre de Contexte : L'utilisation de la session complète de conversation comme contexte lors de la construction de la mémoire a donné de meilleurs résultats que la restriction de la fenêtre, soulignant l'importance d'un contexte plus large pour lier les preuves visuelles aux indices textuels.

Importance et Revendications

L'article revendique que la mémoire visuelle personnelle est un composant distinct et important de la mémoire à long terme pour les agents IA personnalisés. Les auteurs soutiennent que :

1. Limitation de la Recherche Actuelle : Les benchmarks et méthodes existants sont centrés sur le texte, même dans des contextes multimodaux, échouant à tester la capacité de raisonner sur des preuves visuelles qui ne sont pas explicitement énoncées dans le texte.
2. Nécessité d'une Mémoire Visuelle Structurée : Réduire les images à des légendes génériques est insuffisant pour les agents personnalisés. Les systèmes doivent modéliser explicitement des informations personnelles persistantes (identité, propriété, faits) dérivées des interactions visuelles.
3. Faisabilité des Approches Hybrides : VISUALMEM démontre qu'une architecture hybride peut intégrer efficacement une mémoire visuelle structurée avec des backends de mémoire textuelle existants, améliorant les performances sur les tâches visuelles sans compromettre les capacités basées sur le texte.

Les travaux suggèrent que les agents de mémoire futurs doivent aller au-delà du traitement des images comme texte auxiliaire et développer plutôt des mécanismes dédiés pour préserver et raisonner sur les informations personnelles persistantes apportées par les interactions visuelles. Les auteurs notent que leur benchmark est construit synthétiquement pour garantir la cohérence et le contrôle visuels, reconnaissant que le déploiement dans le monde réel nécessiterait de relever les défis de la vie privée et de la robustesse.