🤖 AI

EgoSelf: From Memory to Personalized Egocentric Assistant

Il paper introduce EgoSelf, un sistema di assistente egocentrico personalizzato che integra dati a lungo termine tramite una memoria basata su grafi per modellare le abitudini degli utenti e prevedere le future interazioni.

Autori originali: Yanshuo Wang, Yuan Xu, Xuesong Li, Jie Hong, Yizhou Wang, Chang Wen Chen, Wentao Zhu

Pubblicato 2026-04-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yanshuo Wang, Yuan Xu, Xuesong Li, Jie Hong, Yizhou Wang, Chang Wen Chen, Wentao Zhu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale (come un'IA) che indossa degli occhiali intelligenti e ti segue 24 ore su 24. Il suo compito è aiutarti a ricordare dove hai messo le chiavi, suggerirti cosa ordinare al ristorante o dirti cosa fare dopo.

Il problema? La maggior parte di questi assistenti ha una "memoria a breve termine". Se chiedi loro cosa hai fatto due giorni fa, spesso si perdono o ti danno risposte generiche. Non conoscono davvero te, i tuoi gusti o le tue abitudini.

EgoSelf è la soluzione a questo problema. È come se trasformasse l'assistente da un semplice "registratore di video" a un vero e proprio amico che ti conosce profondamente.

Ecco come funziona, spiegato con delle metafore:

1. Il Grande Libro delle Memorie (La Memoria a Grafo)

Immagina che la tua vita sia un film continuo e caotico. Se provi a cercare una scena specifica in un film di 100 ore senza indici, è impossibile.

Come fanno gli altri: Cercano parole chiave (es. "chiavi") e ti mostrano tutte le volte che hai detto "chiavi", anche se era 3 anni fa e non c'entrava nulla con il tuo problema di oggi. È come cercare un ago in un pagliaio.
Come fa EgoSelf: Non guarda solo il video, ma costruisce una mappa mentale (un grafo).
- Immagina di prendere ogni momento importante della tua giornata (es. "Ho comprato il pane", "Ho parlato con Marco", "Ho messo le chiavi sul tavolo") e di trasformarlo in un pallino su una mappa.
- Poi, collega questi pallini con dei fili. Un filo collega "comprare il pane" con "andare al forno" (causa-effetto). Un altro filo collega "Marco" a "tutti i momenti in cui hai parlato con lui".
- Risultato: Hai una rete interconnessa dove ogni evento è collegato agli altri. Non è solo una lista, è una storia logica.

2. Il Diario delle Abitudini (Il Profilo Utente)

Ora, immagina di avere questa mappa piena di milioni di pallini. Come fa l'assistente a capire chi sei?

EgoSelf ha un Diario delle Abitudini (il Profilo Utente).
Invece di guardare ogni singolo pallino, l'assistente guarda la mappa e dice: "Ah, vedo che ogni martedì Marco compra sempre la pizza, e ogni volta che piove, Marco va in biblioteca".
Questo diario è una riassunto compatto di chi sei: "Mi piace la pizza il martedì", "Vado in biblioteca quando piove".
Quando parli con l'assistente, lui legge prima questo diario per capire il tuo "stile", poi guarda la mappa per i dettagli specifici.

3. L'Allenamento da "Indovino" (Apprendimento delle Abitudini)

Questa è la parte più geniale. Come fa l'assistente a imparare davvero le tue abitudini senza che tu glielo dica esplicitamente?

EgoSelf gioca a un gioco chiamato "Cosa succede dopo?".
Prende la tua storia passata (la mappa) e ti chiede: "Vedo che hai appena finito di lavorare e hai preso l'ombrello. Secondo te, cosa farai dopo?".
L'assistente deve indovinare la tua prossima mossa basandosi su ciò che hai fatto in passato.
Se indovina (es. "Andrai a fare la spesa perché è il tuo martedì"), significa che ha capito il tuo modello comportamentale. Se sbaglia, impara.
È come un allenatore sportivo che ti fa fare esercizi di previsione: più giochi, più diventa bravo a prevedere le tue mosse future.

Perché è così importante?

Fino a oggi, gli assistenti erano come bibliotecari che ti davano il libro giusto solo se ricordavi esattamente il titolo.
EgoSelf è come un vecchio amico che:

Ricorda dove hai messo le chiavi perché sa che tu le metti sempre vicino al portafoglio (grazie alla mappa).
Sa che oggi è martedì e che tu ami la pizza, quindi ti suggerisce un ristorante italiano senza che tu lo chieda (grazie al diario delle abitudini).
Capisce il contesto: se piove, sa che non vuoi uscire, quindi ti suggerisce un film invece di una passeggiata.

In sintesi

EgoSelf prende i video caotici della tua vita, li organizza in una mappa intelligente collegata da relazioni logiche, crea un riassunto delle tue abitudini e si allena a prevedere il futuro basandosi sul passato. Il risultato? Un assistente che non si limita a rispondere alle tue domande, ma ti capisce davvero e ti aiuta in modo personalizzato, giorno dopo giorno.

1. Il Problema

L'assistenza personale basata su dati egocentrici (acquisiti tramite occhiali AR/VR o dispositivi indossabili) richiede di comprendere non solo cosa sta accadendo, ma chi sta interagendo e come. Le sfide principali identificate sono:

Gestione del flusso continuo e non strutturato: I dati egocentrici sono flussi multimodali lunghi, continui e ricchi di ridondanza. I modelli attuali (come i Long-Context VLM) trattano tutto il contenuto in modo uniforme, senza modellare le relazioni strutturate tra le interazioni.
Limiti del recupero basato su similarità: Gli approcci basati sul Retrieval-Augmented Generation (RAG) falliscono su larga scala perché, all'aumentare della cronologia utente, le voci semanticamente simili ma contestualmente irrilevanti sovraccaricano il sistema, degradando la precisione.
Divario tra ricordo e comprensione: Esiste un gap fondamentale tra il semplice recupero fattuale di un evento passato (es. "dove ho messo le chiavi") e la capacità di internalizzare i modelli comportamentali dell'utente per prevedere le sue preferenze o le sue azioni future. Attualmente, nessun framework gestisce simultaneamente l'organizzazione strutturata dei dati a lungo termine e l'internalizzazione dei pattern comportamentali specifici per l'utente.

2. Metodologia: EgoSelf

EgoSelf è un framework ispirato al Sistema di Memoria del Sé (Self-Memory System - SMS) di Conway, che organizza la memoria in modo gerarchico e interconnesso. Il sistema si compone di tre pilastri principali:

A. Memoria di Interazione Basata su Grafi (Interaction Memory)

Il cuore del sistema è un grafo eterogeneo $G = (V, E)$ che trasforma osservazioni frammentate in una memoria strutturata e interrogabile.

Nodi:
- Nodi Evento ( $V_{event}$ ): Rappresentano interazioni discrete (es. "comprare patatine", "fare i compiti") con metadati testuali, oggetti coinvolti, parlato rilevato, luogo e timestamp.
- Nodi Entità ( $V_{entity}$ ): Rappresentano entità persistenti (persone, oggetti) che fungono da ancoraggi stabili tra eventi disgiunti nel tempo.
Archetti (Edge):
- Evento-Evento: Collegamenti causali (precondizione -> conseguenza), di co-attività (stessa attività ad alto livello) e temporali.
- Evento-Entità: Collegamenti tra un evento e gli oggetti/persone coinvolti.
Recupero (Retrieval): Il sistema utilizza un processo a tre stadi:
1. Calcolo della similarità vettoriale tra la query e i nodi.
2. Filtraggio vincolato dal grafo: Si mantengono solo gli eventi collegati alle entità rilevanti, eliminando il rumore.
3. Espansione del contesto: Si aggiungono eventi vicini (multi-hop) per fornire un contesto temporale e relazionale completo.

B. Profilo Utente (User Profile)

Per catturare i tratti stabili a lungo termine, il sistema aggrega i dati del grafo in un profilo utente compatto.

Gli eventi vengono raggruppati semanticamente e filtrati per frequenza.
Un LLM sintetizza i pattern ad alta frequenza in descrizioni di preferenze e abitudini (es. "Preferenza: Cibo fritto", "Pattern: Andare in mensa -> Ordinare fast food").
Questo profilo funge da priore contestuale stabile durante la generazione delle risposte.

C. Apprendimento delle Abitudini (Habit Learning)

Per internalizzare i pattern comportamentali specifici dell'utente, EgoSelf introduce un compito di apprendimento auto-supervisionato.

Obiettivo: Prevedere le interazioni future di un utente ( $V_{>t}$ ) basandosi sulla sua storia passata ( $V_{\le t}$ ) estratta dal grafo.
Generazione Dati: Un LLM di ragionamento analizza il grafo per identificare punti di partizione semantica coerente, creando coppie (storia, futuro). Un verificatore LLM assicura la coerenza.
Questo task forza il modello a imparare le regolarità comportamentali individuali e le associazioni causali latenti, andando oltre la semplice memorizzazione.

3. Contributi Chiave

Framework EgoSelf: Un nuovo approccio per assistenti egocentrici personalizzati che organizza le osservazioni a lungo termine in un grafo eterogeneo con nodi entità persistenti e profili utente compatti.
Compito di Apprendimento delle Abitudini: Un meccanismo di training auto-supervisionato che predice le interazioni future dal grafo storico, permettendo al modello di "interiorizzare" i pattern comportamentali unici dell'utente.
Prestazioni SOTA: Dimostrazione empirica che l'approccio supera gli stati dell'arte su benchmark personalizzati, gestendo efficacemente sia il recupero che il ragionamento a lungo termine.

4. Risultati Sperimentali

Il sistema è stato valutato sul benchmark EgoLifeQA, che include domande su log delle entità, richiamo di eventi, insight sulle abitudini, mappe relazionali e gestione di compiti.

Prestazioni Generali: EgoSelf ha raggiunto le migliori prestazioni medie (40.6%) su tutti i task, superando modelli di base come GPT-4o, LLaVA-OneVision e approcci specifici come EgoGPT ed EgoRAG. Ha mostrato vantaggi significativi nei task di HabitInsight (44.3%) e EventRecall (42.9%).
Robustezza alla Lunghezza Storica: A differenza dei metodi basati su RAG che degradano con cronologie lunghe (>24 ore), EgoSelf mantiene prestazioni stabili e superiori (38.8% vs 35.4% di EgoRAG+EgoGPT) grazie alla struttura del grafo e al profilo utente.
Qualità del Recupero: Su task di 7 giorni, EgoSelf ha dimostrato un tasso di hit (Hit@7) significativamente più alto e stabile rispetto a EgoRAG, che mostra un declino continuo nel tempo.
Analisi Qualitativa: I casi di studio mostrano che EgoSelf riesce a filtrare il rumore e collegare eventi causalmente (es. capire che spingere il carrello è l'azione principale durante la spesa), mentre i baselines recuperano eventi isolati e non correlati, portando a risposte incoerenti.

5. Significato e Impatto

EgoSelf rappresenta un passo avanti cruciale verso assistenti AI veramente personali e proattivi.

Dal Recupero alla Comprensione: Sposta il paradigma dal semplice "trovare informazioni passate" alla "comprensione dei modelli comportamentali", permettendo all'AI di anticipare i bisogni dell'utente.
Scalabilità Temporale: Risolve il problema del degrado delle prestazioni su dati a lungo termine, rendendo fattibile l'uso di assistenti che imparano e si adattano nel corso di giorni o settimane.
Ispirazione Cognitiva: L'adozione di principi psicologici (memoria episodica vs semantica) per l'architettura AI offre una via promettente per creare sistemi più robusti, interpretabili e allineati al modo umano di organizzare l'esperienza.

In sintesi, EgoSelf dimostra che la combinazione di una memoria strutturata a grafo, profili utente sintetici e un training specifico per l'apprendimento delle abitudini è essenziale per realizzare assistenti egocentrici capaci di un'interazione naturale e coerente nel tempo.