Inner Speech as Behavior Guides: Steerable Imitation of Diverse Behaviors for Human-AI coordination

Probleemstelling

Effectieve coördinatie tussen mens en AI vereist kunstmatige agenten die menselijk gedrag kunnen nabootsen, maar ook kunnen reageren op de diversiteit en dynamiek van menselijke interacties. Bestaande methoden voor imitatieleren (Imitation Learning - IL), met name Behavior Cloning (BC), hebben echter fundamentele beperkingen:

1. Directe mapping: Traditionele BC-modellen leren een directe mapping van toestand naar actie ($s_t \to a_t$), wat de complexe cognitieve processen die menselijk gedrag sturen, negeert.
2. Gebrek aan diversiteit: Menselijk gedrag is vaak niet-Markoviaans (afhankelijk van geschiedenis) en multimodaal (verschillende manieren om dezelfde taak te voltooien). Bestaande modellen worstelen met het vastleggen van deze diversiteit.
3. Beperkte stuurbaarheid: Het is moeilijk om het gedrag van een agent tijdens de inferentie (tijdens het uitvoeren van de taak) sturend te beïnvloeden zonder opnieuw te trainen.
4. Afwezigheid van interne motivatie: Menselijke beslissingen worden vaak beïnvloed door "innerlijke spraak" (inner speech) en intrinsieke motivaties die tussen waarneming en actie schakelen. Bestaande modellen modelleren deze tussenlaag niet.

Methodologie: Het MIMIC Framework

De auteurs introduceren MIMIC (Modeling Inner Motivations for Imitation and Control), een raamwerk dat de cognitieve theorie van innerlijke spraak (gebaseerd op Vygotsky's mediational theorie) vertaalt naar computationele architectuur. In plaats van $s \to a$, modelleert MIMIC het proces als $s \to m \to a$, waarbij $m$ de "innerlijke spraak" is.

Het framework bestaat uit drie kerncomponenten:

1. Theoretische Basis (Inner Speech als Mediatielaag):

   • Innerlijke spraak wordt gedefinieerd als een stochastisch, latent proces dat waarnemingen omzet in linguïstische representaties voordat actie wordt genomen.
   • Het volgt drie principes: Predicativiteit (focus op relaties en acties, niet op objecten), Semantische Condensatie (complexe strategieën worden samengeperst tot compacte interne instructies), en Temporele Regulerende Dynamiek (spraakevaluatie gebeurt over tijdsvensters, niet per instantane toestand).

2. Architectuur:

   • Inner Speech Generator (CVAE): Een Conditionele Variational Autoencoder (CVAE) die de stochastische aard van innerlijke spraak modelleert. Deze generator neemt een geschiedenis van waarnemingen (beelden) als input en produceert een latent vector ($m$) die de intentie van de agent vertegenwoordigt.
   • Scaffolding met Vision-Language Models (VLM): Om de CVAE te trainen zonder menselijke annotaties van gedachten, gebruiken de auteurs een voorgetraind VLM (zoals GPT-4o). Het VLM bekijkt GIF's van menselijke demonstraties en genereert beschrijvende teksten die de unieke kenmerken van het gedrag benadrukken. Deze teksten worden geëncodet (via CLIP) en dienen als "scaffolding" (steigers) om de CVAE te leren compresseren en te internaliseren.
   • Inner Speech-geconditioneerde Behavior Cloner (Diffusion Policy): Een diffusie-model (DDPM-T) dat acties genereert. De actie $a$ wordt niet alleen bepaald door de huidige toestand $s$, maar ook door de gegenereerde innerlijke spraak $m$. De formule is: $p(a|s) = \int p(a|s, m)p(m|s)dm$.

3. Inferentie en Sturing:

   • Tijdens simulatie genereert de agent periodiek nieuwe innerlijke spraak op basis van zijn recente acties en waarnemingen (elke $W$ stappen).
   • Stuurbaarheid: Ontwikkelaars kunnen het gedrag sturen door een specifieke tekstuele beschrijving als initiële innerlijke spraak in te voeren. De agent past zijn gedrag hieraan aan en genereert vervolgens zijn eigen innerlijke spraak om consistent te blijven met deze intentie.

Belangrijkste Bijdragen

• Cognitieve Inspiratie voor IL: De eerste toepassing van de theorie van innerlijke spraak als een computationele mediatielaag in imitatieleren om menselijke diversiteit en niet-Markoviaanse eigenschappen te modelleren.
• Stuurbare Imitatie: Een mechanisme om gedrag op inferentietijd te sturen via natuurlijke taal, zonder extra demonstraties te vereisen.
• Scaffolding-methode: Een innovatieve aanpak om innerlijke spraak te leren uit visuele data alleen, door gebruik te maken van VLM's voor het genereren van trainingslabels, waardoor dure menselijke annotaties van gedachten overbodig worden.
• Modulaire Architectuur: Een framework dat losgekoppeld is van de specifieke policy-architectuur (hoewel hier een diffusiemodel wordt gebruikt), waardoor het toepasbaar is op verschillende IL-methoden.

Resultaten

De auteurs evalueren MIMIC op twee fronten: robotische manipulatie (D3IL-benchmark) en mens-AI samenwerking (Overcooked).

1. D3IL Benchmark (Robotische Taken):

   • MIMIC presteert significant beter dan state-of-the-art BC-methoden (zoals DDPM-T en BeT) op taken zoals Aligning, Sorting en Stacking.
   • Success Rate: Hogere succespercentages, vooral in complexe taken zoals het stapelen van blokken.
   • Diversiteit: MIMIC toont een hogere entropie, wat aangeeft dat het een bredere verscheidenheid aan mensachtige gedragspatronen kan genereren.
   • Fideliteit: Lagere Wasserstein-afstanden tussen de gegenereerde en de echte menselijke verdelingen (zowel voor status als voor tijd), wat betekent dat het gedrag menselijker is.

2. Overcooked (Mens-AI Coördinatie):

   • In een 2-speler setting met menselijke proxy-modellen behaalde MIMIC-agenten een aanzienlijk hogere collectieve beloning (tot 30% hoger) dan BC-agenten.
   • Dit toont aan dat het modelleren van innerlijke spraak de agent helpt om beter te anticiperen op en te coördineren met menselijke partners.

3. Ablatie Studies:

   • Het verwijderen van innerlijke spraak (random vectoren of k-means clustering) resulteert in slechtere prestaties, wat het belang van de linguïstische mediatielaag bevestigt.
   • Het gebruik van VLM's (zoals GPT-4o) voor scaffolding is cruciaal; andere modellen presteerden minder goed.

Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in imitatieleren door de "black box" van menselijk gedrag te openen via een cognitief gefundeerde mediatielaag.

• Veiligheid en Validatie: MIMIC-agenten kunnen dienen als realistische "in silico" menselijke surrogates. Dit stelt ontwikkelaars in staat AI-systemen veilig te testen in diverse interactiescenario's voordat ze worden ingezet in de echte wereld.
• Controle en Transparantie: Het biedt een manier om AI-gedrag te sturen via natuurlijke taal, wat de transparantie en controle over autonome systemen vergroot.
• Toekomstperspectief: Het werk opent de weg voor meer adaptieve AI-systemen die niet alleen taken uitvoeren, maar ook de nuances van menselijke motivatie en sociale coördinatie begrijpen, wat essentieel is voor de ontwikkeling van veilige en betrouwbare mens-AI teams.

Kortom, MIMIC bewijst dat het integreren van een linguïstische "innerlijke dialoog" in AI-agenten leidt tot robuustere, diversere en beter controleerbare systemen die menselijk gedrag nauwkeuriger nabootsen.