Inner Speech as Behavior Guides: Steerable Imitation of Diverse Behaviors for Human-AI coordination

1. Il Problema

Il coordinamento efficace tra umani e intelligenza artificiale (AI) richiede agenti capaci di esibire e rispondere a comportamenti simili a quelli umani, adattandosi a contesti mutevoli e mostrando una diversità comportamentale realistica.
L'Imitazione Learning (IL), in particolare il Behavior Cloning (BC), è un approccio promettente che addestra gli agenti a imitare le dimostrazioni umane. Tuttavia, i metodi attuali presentano limiti fondamentali:

• Mappatura Diretta Stato-Azione: I modelli tradizionali apprendono una mappatura diretta $\pi(a|s)$, ignorando i processi cognitivi interni che mediano tra la percezione e l'azione.
• Mancanza di Diversità: Faticano a catturare la natura non markoviana e la diversità intrinseca del comportamento umano (stessi stimoli, risposte diverse).
• Mancanza di Controllo: Non permettono un controllo fine del comportamento durante l'inferenza (es. guidare l'agente verso un comportamento specifico senza riaddestramento).
• Limiti nella Generalizzazione: Spesso si limitano alla generazione condizionata agli obiettivi, senza capacità di steering flessibile basato su descrizioni linguistiche.

2. Metodologia: Il Framework MIMIC

Gli autori propongono MIMIC (Modeling Inner Motivations for Imitation and Control), un framework che integra la teoria cognistica del "discorso interiore" (inner speech) nell'apprendimento per imitazione. L'idea centrale è che il comportamento umano non è una reazione diretta allo stimolo, ma è mediato da un processo interno linguistico che guida la selezione dell'azione.

A. Formalizzazione Teorica

Invece di apprendere direttamente $P(a|s)$, MIMIC modella il comportamento attraverso una variabile latente linguistica $m$ (discorso interiore):
$$P(a|s) = \int P(a|s, m) P(m|s) dm$$
Dove:

• $P(m|s)$: Genera il discorso interiore basato sull'osservazione.
• $P(a|s, m)$: Seleziona l'azione condizionata sia allo stato che al discorso interiore.

Il framework si basa su tre proprietà cognitive del discorso interiore (ispirate a Vygotsky):

1. Predicatività: Il discorso enfatizza relazioni e azioni, non entità statiche.
2. Condensazione Semantica: Complessi significati strategici vengono compressi in rappresentazioni compatte.
3. Dinamiche Regolatorie Temporali: Il discorso interiore opera su scale temporali estese, integrando la storia comportamentale (non è puramente markoviano).

B. Architettura Tecnica

MIMIC è composto da tre componenti principali:

1. Generatore di Discorso Interiore (Behavior-Guided Inner Speech Generator):

   • Utilizza un Conditional Variational Autoencoder (CVAE).
   • Input: La storia delle osservazioni (immagini/stati passati).
   • Training Scaffolding: Per superare la mancanza di annotazioni linguistiche umane, il sistema utilizza un modello Vision-Language Model (VLM) pre-addestrato (es. GPT-4o) per generare descrizioni linguistiche esterne dei comportamenti dimostrati. Queste descrizioni servono come "scaffold" (impalcatura) per addestrare il CVAE a comprimere e internalizzare queste descrizioni in un embedding latente $m$.
   • Output: Un embedding vettoriale $m$ che rappresenta l'intento comportamentale.

2. Cloner di Comportamento Condizionato (Inner Speech-conditioned Behavior Cloner):

   • Implementato come una politica basata su Diffusion Models con architettura Transformer (DDPM-T).
   • Input: Lo stato corrente $s$ e l'embedding del discorso interiore $m$.
   • Funzionamento: Apprende la distribuzione delle azioni $P(a|s, m)$, permettendo di generare azioni diverse per lo stesso stato $s$ variando $m$.

3. Meccanismo di Inferenza e Controllo:

   • Durante la simulazione, l'agente genera periodicamente nuovo discorso interiore basato sulla storia recente (ciclo di aggiornamento $W$).
   • Steerability: Gli utenti possono sovrascrivere il discorso interiore iniziale con una descrizione testuale desiderata (es. "afferra la scatola da destra"), guidando l'agente verso un comportamento specifico senza riaddestramento.

3. Contributi Chiave

• Paradigma Cognitivo nell'IL: Introduce il discorso interiore come meccanismo mediatorio computazionale, spostando il focus dalla mappatura diretta stato-azione a un processo di deliberazione interna.
• Imitazione Steerabile: Permette il controllo fine-granulare del comportamento tramite prompt linguistici durante l'inferenza, superando i limiti della generazione condizionata solo agli obiettivi.
• Scaffolding Linguistico Automatico: Utilizza i VLM per generare automaticamente le etichette linguistiche necessarie per l'addestramento, eliminando la necessità di costose annotazioni umane passo-passo (a differenza di metodi come Thought Cloning).
• Modellazione della Diversità: Cattura la variabilità comportamentale umana attraverso la natura stocastica del CVAE, generando comportamenti diversificati ma contestualmente appropriati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark principali: D3IL (manipolazione robotica) e Overcooked (coordinamento umano-AI).

• D3IL (Manipolazione Robotica):

  • MIMIC supera gli approcci State-of-the-Art (BC basato su Diffusion) in termini di tasso di successo e fidelità (misurata tramite distanza di Wasserstein tra distribuzioni di stati e tempi).
  • Dimostra una maggiore entropia comportamentale, indicando una migliore capacità di imitare la diversità delle dimostrazioni umane.
  • Funziona efficacemente sia in ambienti basati su feature che su visione (top-down e in-hand camera).

• Overcooked (Coordinamento Uomo-AI):

  • Gli agenti MIMIC, quando valutati in collaborazione con modelli proxy umani, ottengono ricompense collettive significativamente più alte (fino al +30%) rispetto agli agenti BC tradizionali.
  • Questo dimostra che la modellazione del "discorso interiore" migliora la capacità dell'AI di anticipare e adattarsi ai comportamenti umani in scenari collaborativi complessi.

• Controllo e Ablazione:

  • Gli esperimenti di ablazione confermano che il discorso interiore basato su linguaggio naturale (tramite VLM) è superiore a vettori casuali o clusterizzati.
  • La capacità di generare comportamenti desiderati tramite prompt testuali (es. "avvicinati da un angolo diagonale") è stata validata qualitativamente e quantitativamente.

5. Significato e Impatto

Il lavoro di MIMIC rappresenta un passo avanti significativo verso agenti AI più sicuri, adattabili e allineati ai valori umani:

• Sicurezza e Validazione: La capacità di generare surrogati umani realistici e diversificati permette test pre-deployment più completi in scenari critici (es. sanità, sistemi autonomi), riducendo i rischi di interazioni dannose.
• Trasparenza e Controllo: L'uso del linguaggio come interfaccia di controllo rende il processo decisionale dell'AI più interpretabile e modificabile dagli operatori umani.
• Fondamento Teorico: Fornisce una validazione empirica dell'ipotesi che l'introduzione di un livello di mediazione linguistica (discorso interiore) tra percezione e azione sia cruciale per replicare la ricchezza e la flessibilità del comportamento umano.

In sintesi, MIMIC non si limita a copiare le azioni umane, ma cerca di modellare il processo cognitivo sottostante, offrendo un nuovo paradigma per lo sviluppo di sistemi di intelligenza artificiale collaborativa.