🤖 AI

EgoSelf: From Memory to Personalized Egocentric Assistant

Le papier présente EgoSelf, un système d'assistant égocentrique personnalisé qui utilise une mémoire d'interaction basée sur un graphe pour analyser les comportements passés et prédire les futures interactions de l'utilisateur.

Auteurs originaux : Yanshuo Wang, Yuan Xu, Xuesong Li, Jie Hong, Yizhou Wang, Chang Wen Chen, Wentao Zhu

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yanshuo Wang, Yuan Xu, Xuesong Li, Jie Hong, Yizhou Wang, Chang Wen Chen, Wentao Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous portiez des lunettes intelligentes qui enregistrent tout ce que vous voyez et faites chaque jour. Le problème ? C'est comme essayer de lire un livre de 10 000 pages écrit à la vitesse de la lumière, sans aucun sommaire, ni index, ni chapitres. C'est là que EgoSelf intervient.

Voici une explication simple de ce projet, imagée comme si c'était un ami très organisé qui vous aide à gérer votre vie.

1. Le Problème : Le Chaos de la Mémoire

Aujourd'hui, les assistants personnels (comme Siri ou Google) sont un peu comme des bibliothécaires qui ont oublié de ranger les livres. Si vous leur demandez : « Où ai-je mis mes clés ? » ou « Qu'est-ce que je préfère manger ? », ils peuvent chercher dans vos vidéos passées. Mais s'ils doivent fouiller dans des mois d'enregistrements en vrac, ils se perdent. Ils voient des images, mais ils ne comprennent pas votre histoire, vos habitudes ou vos préférences uniques.

2. La Solution : EgoSelf, le "Cerveau Organisé"

EgoSelf est un nouveau système conçu pour transformer ce chaos de vidéos en une mémoire structurée, un peu comme si votre cerveau humain prenait le relais pour organiser vos souvenirs.

L'idée repose sur deux piliers magiques :

A. Le Grand Arbre de la Mémoire (Le Graphique)

Au lieu de stocker les vidéos comme une longue bande magnétique, EgoSelf les découpe en petits morceaux intelligents et les assemble comme un arbre généalogique ou un réseau de métro.

Les Gares (Les Nœuds) : Chaque événement important (ex: "J'ai acheté du pain", "J'ai parlé à Marie") devient une gare.
Les Lignes (Les Liens) : Les lignes qui relient ces gares ne sont pas au hasard. Elles disent : "Ceci a causé cela" (causalité) ou "Ceci est arrivé en même temps que cela" (co-activité).
Les Passagers (Les Entités) : Les objets (votre téléphone, votre clé) et les personnes (Marie) sont des passagers qui voyagent sur ces lignes.

L'analogie : Imaginez que votre vie est un film. Les autres systèmes regardent le film en accéléré. EgoSelf, lui, prend le film, l'arrête, écrit des fiches sur chaque scène, et crée un tableau géant avec des fils rouges qui relient les scènes entre elles. Ainsi, si vous demandez "Avec qui ai-je mangé hier ?", le système suit simplement le fil rouge jusqu'à la bonne personne.

B. Le Profil de l'Utilisateur (Le Résumé de Vie)

Parfois, on n'a pas besoin de tous les détails, mais juste de l'essentiel. EgoSelf crée un profil utilisateur, un peu comme un résumé de votre CV ou une carte de fidélité personnelle.

Il observe vos habitudes sur le long terme : "Tu aimes toujours le poulet frit le mardi", "Tu fais tes courses le samedi matin".
Il ne se contente pas de se souvenir ce qui s'est passé, il comprend qui vous êtes.

3. L'Entraînement : Apprendre à Deviner l'Avenir

Pour que cet assistant soit vraiment "personnel", il ne suffit pas de se souvenir du passé. Il faut qu'il apprenne à deviner ce que vous allez faire.

Les chercheurs ont créé un jeu d'entraînement spécial :

Ils montrent au système une partie de votre journée (le passé).
Ils lui demandent : "À ton avis, qu'est-ce que cette personne va faire ensuite ?"
Si le système devine juste (ex: "Il va probablement prendre son café parce qu'il le fait toujours à 8h"), il gagne un point.

C'est comme entraîner un détective à comprendre vos routines. Plus il devine juste, mieux il vous connaît. Il apprend vos "tics" et vos préférences sans que vous ayez à les lui expliquer.

4. Le Résultat : Un Assistant qui vous "Comprend"

Grâce à cette méthode, EgoSelf ne vous donne pas juste une réponse factuelle. Il vous donne une réponse adaptée à vous.

Exemple concret : Si vous demandez "Qu'est-ce que je devrais manger ?", un système classique pourrait dire "Voici les restaurants ouverts". EgoSelf, lui, dira : "Tu as l'habitude de manger des sushis le vendredi, mais tu as dit que tu voulais manger plus sainement cette semaine. Pourquoi pas une salade ?"

En Résumé

EgoSelf, c'est comme passer d'une simple caméra de surveillance (qui enregistre tout mais ne comprend rien) à un secrétaire personnel ultra-intelligent.

Il rangement vos souvenirs dans un fichier logique (le graphique).
Il résume qui vous êtes (le profil).
Il entraîne son cerveau à connaître vos habitudes (l'apprentissage).

Le résultat ? Un assistant qui ne vous aide pas seulement à trouver des objets, mais qui vous aide à vivre votre vie en comprenant vos routines, vos goûts et votre personnalité unique.

1. Problématique et Contexte

Les assistants basés sur une perspective égocentrique (vue à la première personne, souvent via des lunettes AR/VR) ont le potentiel de fournir des services hautement personnalisés en capturant le comportement et le contexte de l'utilisateur. Cependant, deux défis majeurs entravent leur efficacité réelle :

Organisation des données : Les flux vidéo égocentriques sont continus, non structurés et extrêmement longs. Les modèles existants (comme les LLM multimodaux à contexte long) traitent souvent le contenu de manière uniforme, sans modéliser les relations structurelles entre les interactions, ce qui rend la récupération d'informations précises difficile à grande échelle.
Personnalisation profonde : La simple récupération de faits (ex: "où ai-je posé mes clés ?") ne suffit pas. Un véritable assistant doit internaliser les habitudes, les préférences et les routines comportementales de l'utilisateur pour anticiper ses besoins. Les approches actuelles échouent à combiner l'organisation structurée de données multimodales à long terme avec l'apprentissage de ces schémas comportementaux individuels.

2. Méthodologie : Le Framework EgoSelf

EgoSelf propose une architecture inspirée du Système de Mémoire de Soi (Self-Memory System) de Conway, qui distingue la mémoire épisodique (événements concrets) de la mémoire sémantique (connaissances généralisées sur soi). Le système se compose de trois piliers principaux :

A. Mémoire d'Interaction Basée sur un Graphique (Interaction Memory)

Au lieu de stocker des vidéos brutes, EgoSelf transforme le flux continu en un graphe d'interaction hétérogène $G = (V, E)$ :

Nœuds :
- Nœuds d'événement ( $V_{event}$ ) : Représentent des interactions discrètes (ex: "Acheter des frites", "Faire les devoirs") avec des attributs textuels, objets, lieux et timestamps.
- Nœuds d'entité ( $V_{entity}$ ) : Représentent des objets et des personnes persistants qui traversent plusieurs événements, servant d'ancres sémantiques stables.
Arêtes :
- Événement-Événement : Relient les événements par des relations causales, temporelles ou de co-activité (ex: "Acheter de la nourriture" précède "Manger").
- Événement-Entité : Relient les événements aux objets/personnes impliqués.
Profil Utilisateur ( $P$ ) : Un module qui agrège les données du graphe pour créer un résumé compact des habitudes à long terme (ex: "Préférence pour la nourriture frite", "Rituel du dîner"). Ce profil est mis à jour par clustering et résumé via LLM.

B. Récupération de Mémoire (Memory Retrieval)

Pour répondre à une requête $q_t$ , le système utilise une stratégie en trois étapes pour garantir la pertinence :

Similarité : Calcul des similarités d'embedding entre la requête et les nœuds du graphe pour sélectionner les candidats (Top-K).
Filtrage par Contraintes Graphiques : Seuls les événements connectés aux entités pertinentes sont conservés. Cela élimine le bruit sémantique et assure un ancrage factuel.
Expansion de Contexte : Le système ajoute les voisins multi-sauts (événements liés causalement ou temporellement) pour fournir un contexte complet au modèle de génération.

C. Tâche d'Apprentissage des Habitudes (Habit Learning)

Pour internaliser les schémas comportementaux, EgoSelf introduit une tâche d'apprentissage auto-supervisé :

Principe : Le modèle doit prédire les interactions futures d'un utilisateur ( $V_{>t}$ ) en se basant sur son historique d'interactions passées ( $V_{\le t}$ ) extrait du graphe.
Génération de données : Un LLM de raisonnement identifie des points de partition cohérents dans le graphe pour créer des paires (Passé, Futur) et un vérificateur affine les légendes.
Objectif : Cette tâche force le modèle à apprendre les régularités comportementales individuelles et les associations causales latentes, au-delà de la simple mémorisation de faits.

3. Contributions Clés

Framework EgoSelf : Une nouvelle architecture pour les assistants égocentriques qui organise les observations à long terme en un graphique d'interaction structuré avec des nœuds d'entité persistants et des profils utilisateurs compacts.
Apprentissage des Habitudes : Conception d'une tâche d'apprentissage auto-supervisé spécifique qui permet au modèle d'internaliser les schémas comportementaux individuels pour une véritable personnalisation.
Performance de pointe : Démonstration expérimentale que cette approche surpasse les modèles de base (LLMs, RAG) sur des tâches de personnalisation complexes.

4. Résultats Expérimentaux

Le modèle a été évalué sur le benchmark EgoLifeQA, basé sur le jeu de données EgoLife (activités quotidiennes de 6 participants sur 7 jours).

Performance Globale : EgoSelf atteint les meilleures performances (SOTA) avec une moyenne de 40,6 %, surpassant des modèles puissants comme GPT-4o (36,2 %) et EgoGPT (36,0 %).
Robustesse Temporelle :
- Contrairement aux méthodes basées sur la récupération simple (comme EgoRAG) qui voient leurs performances chuter drastiquement lorsque l'historique dépasse 24 heures, EgoSelf maintient une performance stable et élevée (38,8 % pour >24h).
- La structure graphique permet de raisonner sur des événements temporellement distants sans perte de précision.
Qualité de la Récupération : Les analyses qualitatives montrent que EgoSelf récupère des événements liés structurellement et causalement, évitant le bruit sémantique qui affecte les méthodes basées uniquement sur la similarité vectorielle.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de l'IA personnelle et de la vision égocentrique :

Du Rappel à la Compréhension : Il comble le fossé entre la simple récupération de faits ("rappel") et la compréhension profonde des habitudes de l'utilisateur ("anticipation").
Modélisation Structurelle : Il démontre que la modélisation explicite des relations (graphes) est supérieure aux approches de "boîte noire" pour gérer des flux de données personnels à long terme.
Applications Futures : EgoSelf ouvre la voie à des assistants AR/VR capables de s'adapter dynamiquement aux routines quotidiennes, de suggérer des actions proactives et de fournir un soutien contextuel cohérent sur de longues périodes, essentiel pour l'adoption de l'IA dans la vie quotidienne.

En résumé, EgoSelf transforme les données brutes et chaotiques de la vie quotidienne en une mémoire structurée et intelligente, permettant à l'IA de véritablement "connaître" l'utilisateur.