SIL: Symbiotic Interactive Learning for Language-Conditioned Human-Agent Co-Adaptation

Titel

SIL: Symbiotisch Interactief Leren voor Taalgeconditioneerde Mens-Agent Co-Adaptatie

1. Het Probleem

Huidige systemen voor mens-robotinteractie (HRI), die vaak worden aangedreven door Foundation Models (FMs), volgen een eenrichtingsverkeer (master-apprentice model).

• Eenrichtingscommunicatie: De mens geeft commando's en de robot voert deze passief uit zonder wederkerig leren.
• Gebrek aan co-adaptatie: De robot past zich niet aan de mens aan, en de mens moet zijn instructies voortdurend aanpassen aan de starre interpretatie van de robot.
• Fragiliteit: Interacties zijn gevoelig voor taalkundige en contextuele ambiguïteit. De robot heeft geen mechanisme om zijn eigen onzekerheid te communiceren of om gezamenlijke plannen te verfijnen.
• Catastrofaal vergeten: Bestaande methoden missen vaak structuren voor langetermijngeheugen, waardoor robots eerder geleerde voorkeuren of taken vergeten bij nieuwe interacties.

2. Methodologie: SIL Framework

De auteurs introduceren SIL (Symbiotic Interactive Learning), een bidirectioneel co-adaptatiekader waarin mens en agent gezamenlijke "latente taakruimtes" (shared latent task space) onderhouden.

A. Gedeelde Beliefs en Co-Adaptatie

In plaats van statische uitvoering, onderhouden beide partijen een dynamische belief state ($B_t$) die evolueert op basis van interactiegeschiedenis.

• Belief State: Bestaat uit een latente taakembedding ($z_t$), een zekerheidscoëfficiënt ($k_t$), een onzekerheidsrepresentatie ($u_t$), een tijdsgebonden geheugenbuffer ($H_t$) en een specifiek model ($\Psi_t$).
• Bidirectionele Invloed: De agent update zijn interne representatie niet alleen op basis van input, maar ook op basis van zijn schatting van de menselijke toestand, en vice versa. Dit wordt gemodelleerd via een wederkerige inferentie.
• Update-mechanisme: De latente embeddings worden bijgewerkt met een gewogen som van de huidige embedding, nieuwe input en een "invloedvector" ($\delta_{infl}$) die de interactie tussen mens en agent weergeeft.
  • Interessant: Mislukkingen ($s_t \approx 0$) fungeren als een sterk signaal voor de mens om instructies aan te passen, terwijl successen de menselijke correctie verminderen.

B. Geheugen en Continual Learning

Om langetermijnstabiliteit te garanderen, gebruikt SIL een dubbel geheugenarchitectuur:

1. Episodisch Geheugen: Bewaart specifieke interactiegeschiedenissen (input, respons, context, succes/falen).
2. Semantisch Geheugen: Generaliseert patronen uit ervaringen (succes/valpatronen, veelvoorkomende verduidelijkingen).
3. EWC (Elastic Weight Consolidation): Een regularisatiemechanisme dat voorkomt dat het neural network "catastrofaal vergeet" wanneer het nieuwe taken leert. Het straft wijzigingen in parameters die cruciaal waren voor eerdere taken.

C. Onzekerheidsbewust Taalbegrip

Om ambiguïteit te detecteren, combineert SIL:

• Ensemble Reasoning: Het genereren van meerdere interpretaties van een commando via een LLM bij verschillende temperaturen.
• Dispensatie-meting: De semantische spreiding tussen deze interpretaties wordt gemeten.
• Clarification Protocol: Als de overeenstemming (belief alignment $\rho$) onder een drempel valt, initieert de robot een dialoog om verduidelijking te vragen, gebaseerd op zijn onzekerheidskaart en het episodisch geheugen.

D. Architectuur

• Encoder: Een lichtgewicht neurale encoder (getraind met triplet-loss) die taal en dialogen mapt naar de latente ruimte.
• Perceptie: Gebruik van Vision-Language Models (SAM, CLIP) voor 3D-locatiebepaling en navigatie.
• Actie: Uitvoering via ROS-planningsstapels met feedbackloops voor voortgangsupdates en adaptieve suggesties.

3. Belangrijkste Bijdragen

1. Karakterisering van het eenrichtingsprobleem: Analyse van de beperkingen van het huidige master-apprentice model in HRI.
2. Gedeelde Belief Representatie: Een mechanisme om menselijke en agent-beliefs expliciet te vertegenwoordigen, te meten en uit te lijnen in een gedeelde latente ruimte, wat gerichte verduidelijking mogelijk maakt.
3. Continual Learning met Gestructureerd Geheugen: Integratie van episodisch en semantisch geheugen met EWC om kennisbehoud te garanderen.
4. Uitgebreide Empirische Evaluatie: Validatie in zowel gesimuleerde als echte omgevingen met robuuste prestaties.

4. Resultaten

SIL werd getest op twee mobiele platformen (Unitree Go1 en een aangepaste Segway) in diverse taakdomeinen (instructievolgen, informatieretrieval, redeneren, proactieve dialoog, voorkeursleren).

• Taakvoltooiingspercentage (TCR): SIL bereikte 90,4%, wat een absolute verbetering is van ongeveer 20 procentpunten ten opzichte van de beste ablatievarianten en een statische LLM-basis (60,1%).
• Belief Alignment ($\rho$): SIL behaalde een alignement-score van $\rho \approx 0,83$, wat aangeeft dat mens en robot hun intenties sterk op elkaar afstemmen. Ablatievarianten bleven hangen rond $\rho \approx 0,52 - 0,65$.
• Efficiëntie: Het systeem vereiste gemiddeld slechts 0,46 verduidelijkingsvragen per taak, wat aantoont dat proactieve suggesties en gedeeld begrip de interactie versnellen.
• Ablatie-studie:
  • Het uitschakelen van co-adaptatie liet de prestaties instorten naar het niveau van een statische LLM.
  • Het uitschakelen van EWC leidde tot catastrofaal vergeten van eerder geleerde alias-commando's.
  • Zonder geheugen of onzekerheidsmeting daalden de prestaties significant, vooral bij complexe redeneertaken.

5. Betekenis en Conclusie

Dit paper markeert een paradigmaverschuiving in mens-robotinteractie: van passieve uitvoering naar actieve, symbiotische samenwerking.

• SIL bewijst dat robots niet alleen commando's moeten uitvoeren, maar ook actief moeten deelnemen aan het opbouwen van een gedeeld mentale model met de mens.
• Door gebruik te maken van gedeelde latente ruimtes en continual learning, kunnen robots individuele gebruikersvoorkeuren leren en behouden, waardoor ze beter geschikt zijn voor langdurige, complexe taken in de echte wereld.
• De resultaten tonen aan dat bidirectionele co-adaptatie essentieel is voor robuustheid, veiligheid en efficiëntie in toekomstige autonome systemen.