Learning to Forget -- Hierarchical Episodic Memory for Lifelong Robot Deployment

Probleemstelling

Robotica-systemen die langdurig met mensen samenwerken, moeten in staat zijn om hun verleden te verbaliseren (bijvoorbeeld: "Waar heb je mijn sleutels neergelegd?" of "Waarom is de taak mislukt?"). Dit vereist een Episodisch Geheugen (Episodic Memory - EM) dat continu multimodale waarnemingen opslaat.
De kernuitdaging is dat een onbeperkt groeiend geheugen de opslag- en rekenkrachtlimieten van realistische systemen snel overschrijdt, waardoor realtime vragen beantwoorden onpraktisch wordt. Hoewel menselijk geheugen ook beperkt is door het selectief vergeten van irrelevante details, ontbreekt er bij kunstmatige systemen een algemeen geaccepteerde definitie van "relevantie". Relevantie verschilt per gebruiker en gebruiksscenario. Bestaande systemen gebruiken vaak end-to-end neurale netwerken of statische templates, maar deze schalen niet goed naar levenslange implementaties en kunnen niet dynamisch leren wat een specifieke gebruiker belangrijk vindt.

Methodologie: H2-Emv Framework

De auteurs introduceren H2-Emv, een architectuur die robots in staat stelt om hun episodisch geheugen online op te bouwen, te beheren en te verbaliseren, met een focus op selectief vergeten op basis van geleerde relevantie. Het systeem bestaat uit drie hoofdcomponenten:

1. Online Hiërarchisch Geheugenvorming:

   • In plaats van retrospectief een boomstructuur te bouwen na het verzamelen van data (offline), bouwt H2-Emv een hiërarchische "history tree" incrementeel op terwijl nieuwe waarnemingen binnenkomen.
   • De boom bestaat uit lagen: van lage niveaus (scène-grafiek instanties) tot hogere niveaus (gebeurtenis- en doel-summaries).
   • Een tijd-bewust algoritme (Algorithm 1 & 2) groepeert en vat nieuwe knooppunten samen met bestaande knooppunten. Dit voorkomt dat tijdelijk verre gebeurtenissen (bijv. door een nachtstop) onterecht worden samengevoegd.

2. Vergeten op Basis van Relevantie (Decay-based Forgetting):

   • Om opslag te beperken, krijgen knooppunten in de boom een standaard levensduur (time-based decay).
   • Wanneer een knooppunt vervalt, wordt een LLM (Large Language Model) ingeschakeld om de relevantie van dat knooppunt te schatten.
   • Deze schatting is gebaseerd op een set van natuurtaalkundige regels (bijv. "Onthoud altijd de tijd wanneer je iemand ontmoet"). Als de relevantie hoog is, wordt de levensduur verlengd; anders wordt het knooppunt vergeten (vervangen door een placeholder).

3. Incrementeel Leren van Relevantie via Feedback:

   • Omdat er geen universele regels zijn, leert het systeem wat relevant is uit gebruikersfeedback.
   • Als een gebruiker een vraag stelt en het antwoord is vergeten, kan de gebruiker feedback geven (bijv. "Je moet altijd de locatie onthouden waar je sleutels ziet").
   • Een LLM verwerkt deze feedback om de set van relevantieregels dynamisch aan te passen (toevoegen, wijzigen of verwijderen). Deze aangepaste regels sturen vervolgens zowel het samenvatten als het vergeten proces.

Belangrijkste Bijdragen

• Online Constructie: De overgang van offline naar online geheugenopbouw, wat de latentie bij het beantwoorden van vragen verlaagt door de verwerkingslast te verspreiden over de tijd.
• Geleerd Vergeten: Een mechanisme dat niet alleen op tijd werkt, maar op een door LLM's geschatte relevantie, gekoppeld aan een feedback-loop.
• Adaptiviteit: Het systeem past zich aan specifieke gebruikersvoorkeuren aan zonder vooraf te moeten worden getraind op die specifieke taken.
• Real-world Validatie: Het systeem is succesvol gedeployeerd op de mensachtige robot Armar-7 gedurende meerdere weken.

Resultaten

De evaluatie vond plaats op gesimuleerde data (TEACh dataset) en real-world opnames van Armar-7 (20,5 uur aan data).

• Efficiëntie: H2-Emv reduceerde de geheugengrootte met 45% en de rekenkosten voor het beantwoorden van vragen (query-time compute) met 35% ten opzichte van systemen zonder vergeten.
• Prestatieverbetering: In tegenstelling tot systemen zonder leermechanisme, die prestatieverlies vertonen naarmate het geheugen groeit, verbeterde H2-Emv zijn prestaties in de loop van de tijd.
  • De nauwkeurigheid bij het beantwoorden van vragen steeg met 70% in de tweede ronde van vragen, dankzij het aanpassen aan de gebruikersprioriteiten.
• Trade-offs: Hoewel vergeten de nauwkeurigheid in de eerste ronde iets verlaagt (door het verwijderen van informatie), compenseert het geleerde relevantie-model dit in de tweede ronde volledig, terwijl het de opslagruimte klein houdt.
• Real-world Deploy: De live-deploy op Armar-7 toonde aan dat de vertragingen door online verwerking beheersbaar zijn (gemiddeld 47 seconden, met pieken tot 7 minuten bij hoge activiteit) en dat het systeem effectief werkt in een dynamische huishoudelijke omgeving.

Significantie

Dit paper is significant omdat het een oplossing biedt voor het "levenslange" probleem in robotica: hoe bewaar je ervaringen zonder de rekenkracht te overbelasten?

• Schalbaarheid: Het bewijst dat selectief vergeten, geleerd uit feedback, essentieel is voor schaalbare, langdurige mens-robot samenwerking.
• Personalisatie: Het introduceert een manier waarop robots niet alleen hun geheugen beheren, maar ook leren wat voor de gebruiker belangrijk is, wat leidt tot een meer gepersonaliseerde interactie.
• Praktische Toepasbaarheid: De succesvolle implementatie op een fysieke robot (Armar-7) toont aan dat deze theoretische concepten werken in complexe, realistische omgevingen, en legt de basis voor toekomstige systemen die zich kunnen aanpassen aan verschillende gebruikers en taken zonder hertraining.

Kortom, H2-Emv transformeert het vergeten van een noodzakelijk kwaad (om opslag te besparen) naar een actief leermiddel dat de robot slimmer en relevanter maakt voor de gebruiker.