Résumé Technique : Agent IA Personnel pour le VQA de Pellicule Photo

Énoncé du Problème

L'article traite du défi du Question Answering Visuel (VQA) sur les pellicules photos personnelles. Bien que les smartphones aient permis aux utilisateurs d'accumuler des milliers de photos au fil des années, les systèmes de recherche existants (par exemple, Google Photos, iPhoto) reposent principalement sur un tri chronologique ou une recherche de similitude basique (visages, lieux). Ces systèmes ne parviennent pas à supporter un raisonnement personnalisé à long horizon.

Les utilisateurs ne peuvent pas poser naturellement des questions complexes et dépendantes du contexte telles que : « Qu'est-ce que j'ai mangé après avoir regardé le lancement de la navette Space Shuttle 135 ? » ou « Penses-tu que je devrais réessayer ce plat ? », car :

1. Volume et Redondance : Les pellicules photos contiennent des centaines à des milliers d'images s'étendant sur plusieurs années, souvent avec un contenu redondant ou visuellement similaire.
2. Désalignement Contextuel : La recherche standard traite les images comme des unités indépendantes, manquant de la capacité de lier les événements, les séquences temporelles et le contexte spécifique de l'utilisateur (par exemple, les relations, les événements de vie spécifiques).
3. Limitations Techniques : Alimenter naïvement tous les modèles de langage multimodaux (MLLM) avec toutes les images est irréalisable en raison des limites de jetons (des milliers d'images HD pourraient nécessiter de 1 à 10 millions de jetons) et de la dégradation de la compréhension du contexte long à mesure que la longueur de l'entrée augmente.
4. Perte d'Information : Les approches de Génération Augmentée par Récupération (RAG) existantes convertissent souvent les images en légendes textuelles génériques, perdant ainsi les détails visuels fins et le contexte personnel (par exemple, l'identité, les relations) qui sont cruciaux pour la mémoire personnelle.

Méthodologie

Les auteurs proposent une approche à deux volets : la construction d'un nouveau jeu de données (camroll) et la conception d'un agent conversationnel spécialisé (camroll-agent).

1. Le Jeu de Données Camroll

Le jeu de données camroll est conçu pour évaluer le raisonnement visuel personnalisé à long horizon.

• Échelle : Il comprend 50 utilisateurs, 31 476 images et 2 500 paires QA (Question-Réponse).
• Sources : Les données proviennent de deux sources :
  • Interne : 30 participants ayant contribué avec leurs pellicules mobiles (reflétant les schémas de capture actuels, incidents et redondants « in-the-wild »).
  • YFCC-100M : 20 utilisateurs filtrés de ce jeu de données public pour répondre à des critères spécifiques (plus de 500 photos, étendue de plus de 2 ans, licence Creative Commons).
• Annotation : Les questions sont générées par des annotateurs humains qui examinent la collection complète de photos et imaginent vivre la vie du sujet. Les questions sont catégorisées en :
  • Sémantiques : Questions générales sur la personnalité (ex: passe-temps) non liées à des événements spécifiques.
  • Épisodiques : Questions ancrées dans des événements passés spécifiques, nécessitant des preuves issues d'un ensemble d'images.
• Caractéristiques : Le jeu de données présente de forts schémas spécifiques à l'utilisateur. Les questions épisodiques montrent une forte pureté de l'utilisateur dans les plongements (embeddings) (16,5 % contre ~2 % pour la référence), et les distributions de réponses sont à queue lourde, avec 90,2 % des chaînes de réponses distinctes n'apparaissant que dans la pellicule d'un seul utilisateur. Cela contraste nettement avec les jeux de données VQA standards où les réponses sont hautement répétitives.

2. Le Camroll-Agent

Le camroll-agent est un agent d'IA conversationnel conçu pour naviguer efficacement dans une mémoire visuelle personnalisée à grande échelle. Il opère sur une boucle ReAct (Reason + Act / Raisonner + Agir) et utilise deux innovations centrales :

A. Mémoire Personnelle Hiérarchique

Au lieu de traiter les images comme une liste plate, l'agent organise la mémoire en un pyramide à trois niveaux :

1. Pixels ($I$) : Photos brutes stockées sur le disque.
2. Légendes ($C$) : Légendes personnalisées générées par un MLLM conditionné par la photo de profil de l'utilisateur et une « fenêtre de regard en arrière » des images récentes. Cela ancre la légende dans l'identité de l'utilisateur et son contexte récent.
3. Résumés d'Événements ($E$) : Sous-ensembles d'images chronologiquement contigus regroupés en événements (ex: un voyage, un mariage) avec des résumés en langage naturel et des métadonnées (date, lieu).

• Construction : Un MLLM traite les images de manière incrémentielle, décidant d'AJOUTER un nouvel événement, de METTRE À JOUR l'événement actuel ou d'effectuer une NON-OPÉRATION (NO-OP).
• Navigation : Les enregistrements sont liés via des identifiants (IDs) hachés stables, permettant une navigation bidirectionnelle en $O(1)$ entre les images et leur événement parent.

B. Ensemble d'Outils Minimal

L'agent interagit avec la mémoire via cinq outils spécifiques, décomposés selon le paradigme de récupération et la profondeur d'accès :

1. search(query) : Recherche sémantique utilisant des plongements vectoriels denses (FAISS) pour la découverte de candidats larges.
2. grep(keyword) : Recherche lexicale (BM25) pour la correspondance exacte de jetons.
3. list(condition) : Filtrage structuré basé sur les métadonnées (temps, lieu).
4. get(id) : Récupère les enregistrements textuels complets (légendes complètes, chemins) à partir d'un aperçu.
5. view(id, prompt) : Inspecte les pixels bruts au moment de la requête via un VLM. Cela est utilisé avec parcimonie, car c'est coûteux en calcul, réservé aux cas où les preuves textuelles sont insuffisantes.

L'agent est conçu pour être indépendant du modèle (model-agnostic), permettant de remplacer le moteur de raisonnement central, le légendeur ou le backend de récupération sans changer la boucle d'interaction.

Résultats Clés

L'article évalue camroll-agent par rapport à plusieurs bases de référence, incluant des MLLM naïfs (sans mémoire, avec toutes les légendes, ou toutes les images), des méthodes basées sur le RAG (Self-RAG, HippoRAG-2), des approches de couche de mémoire (SimpleMem, Mem0) et des agents de codage généralistes (ClaudeCode).

• Performance : camroll-agent obtient les meilleurs résultats sur toutes les métriques.
  • QA en forme libre : Il obtient un score de Juge de 4,11, surpassant le meilleur agent suivant (ClaudeCode à 3,77) et dépassant largement les méthodes RAG (ex: HippoRAG-2 à 2,58).
  • Efficacité : Il y parvient avec seulement ~3,2k jetons d'entrée, contre ~59k pour ClaudeCode et ~150k pour une base de référence « toutes les légendes ».
  • Précision : Sur les questions à choix multiples, il atteint une précision de 88,5 %, approchant la limite supérieure « Oracle » (86,4 % avec preuves d'or) et dépassant largement la base de référence « Rien » (30 %).
• Analyse de l'Utilisation des Outils :
  • Les agents utilisent principalement search, grep et list lors des premiers tours pour une récupération grossière.
  • view (inspection des pixels bruts) est utilisé de manière sélective, principalement pour les questions visuelles.
  • ClaudeCode (un agent de codage) s'avère inefficace dans ce domaine, s'appuyant lourdement sur une traversée exhaustive de fichiers et l'inspection visuelle en raison de l'absence d'indexation sémantique, ce qui entraîne une utilisation élevée de jetons.
• Études d'Ablation :
  • Structure de la Mémoire : Supprimer la structure hiérarchique (légendes ou événements) dégrade la performance. Supprimer les légendes cause la plus forte chute (le score global tombe à 2,29), confirmant que les légendes personnalisées sont critiques pour le rappel.
  • Outils : Supprimer search provoque la plus forte chute de performance, soulignant son rôle de mécanisme de récupération principal.
  • Modèles : Les modèles propriétaires (Gemini-3.1, GPT-5.2) surpassent les modèles open-source, bien que le meilleur modèle open-source (Qwen3-Coder-30B) approche les performances de GPT-4o.

Signification et Revendications

L'article affirme que la mémoire visuelle personnalisée nécessite des approches fondamentalement différentes de la mémoire textuelle longue à contexte standard.

1. Identification de l'Écart : Ce travail met en évidence un écart critique dans les agents d'IA actuels : l'incapacité de raisonner sur des flux visuels personnels à long horizon et fragmentés où la cohérence, les détails visuels et le contexte spécifique à l'utilisateur sont primordiaux.
2. Conception Spécifique au Domaine : Les auteurs soutiennent que les agents généralistes (comme les agents de codage) sont inefficaces pour les domaines visuels. Les outils spécifiques au domaine (recherche sémantique, segmentation d'événements) ne sont pas optionnels mais un « choix de conception de premier ordre » qui façonne à la fois le comportement et l'efficacité.
3. Nécessité des Données : L'absence de cadres standardisés pour la mémoire visuelle personnelle à long horizon a entravé le progrès. Le jeu de données camroll fournit le premier benchmark standardisé pour ce contexte, révélant que les jeux de données existants échouent à capturer le raisonnement personnalisé ouvert requis pour l'interaction avec une pellicule photo réelle.
4. Direction Future : Ce travail sert d'effort de benchmark et d'analyse. Les auteurs déclarent modestement qu'ils n'entraînent pas un agent de mémoire dédié de bout en bout, mais suggèrent que les travaux futurs devraient se concentrer sur la récupération basée sur l'apprentissage, l'entraînement conjoint et une personnalisation plus forte respectant la vie privée.

En résumé, l'article démontre qu'en combinant des structures de mémoire hiérarchiques avec des outils minimaux et spécifiques au domaine, les agents d'IA peuvent naviguer et raisonner efficacement sur des milliers de photos personnelles, permettant une nouvelle classe d'assistants IA personnalisés ancrés dans l'historique de l'utilisateur.