Sintesi Tecnica: Simulazione del Comportamento di Ricerca Audiovisiva Umana

Definizione del Problema

Localizzare dei bersagli nello spazio utilizzando indizi uditivi e visivi è una sfida fondamentale nell'Interazione Uomo-Computer (HCI), in particolare in ambienti ubiqui e immersivi (ad esempio, trovare un'auto in un parcheggio o un relatore in una riunione virtuale). Gli attuali modelli computazionali della ricerca audiovisiva soffrono di due limitazioni primarie:

1. Isolamento di Percezione e Azione: I modelli esistenti spesso trattano la localizzazione sensoriale (ad esempio, l'udito binaurale) e il processo decisionale cognitivo come processi separati. Essi non riescono a catturare come gli esseri umani coordinino in modo adattivo il movimento (rotazione della testa, locomozione) con le strategie sensoriali per risolvere le ambiguità percettive come il rumore, l'occlusione e la confusione fronte-retro.
2. Mancanza di Vincoli di Risorse: I modelli tradizionali dell' "osservatore ideale" (ad esempio, l'inferenza bayesiana) assumono strategie di ricerca ottimali ed esaustive che ignorano i costi fisici (tempo, sforzo, rischio di collisione) che gli esseleri umani affrontano. Non tengono conto dei compromessi che le persone operano tra l'accuratezza e il costo della raccolta di informazioni.

L'articolo sostiene che sia necessario un modello computazionale che unifichi l'inferenza sensoriale con il processo decisionale razionale rispetto alle risorse sotto osservabilità parziale per prevedere il comportamento dell'utente, il tempo di ricerca, lo sforzo e le modalità di errore.

Metodologia

Il Modello Sensonaut

Gli autori introducono Sensonaut, un modello computazionale di ricerca audiovisiva incarnata (embodied). L'assunto centrale è che le persone dispieghino i propri corpi e sistemi sensoriali per migliorare efficientemente le loro probabilità di localizzare un bersaglio, scambiando tempo e sforzo sotto vincoli percettivi.

1. Framework Formale (POMDP):
Il compito è formalizzato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP):

• Stato ($S$): Posizione nascosta del bersaglio (coordinate polari), posizione/orientamento dell'agente e configurazione della scena (distrattori/occludenti).
• Azioni ($A$): Azioni incarnate discrete: ruota_sinistra, ruota_destra, muoviti_avanti, rimani e impegna (commit).
• Osservazioni ($O$): L'agente non vede direttamente i dati sensoriali grezzi, ma opera su una distribuzione di credenza posteriore ($b_t$) sulle potenziali posizioni del bersaglio. Questa credenza viene aggiornata passo dopo passo sulla base di indizi uditivi e visivi rumorosi.
• Ricompensa ($R$): Definita come Utilità ($U$) meno Costo ($C$).
  • Utilità: Ricompensa positiva per l'identificazione corretta del bersaglio entro una certa tolleranza; penalità per gli errori.
  • Costo: Penalità per lo sforzo fisico (rotazioni della testa, locomozione), il tempo (attesa) e le collisioni.
• Obiettivo: Imparare una politica ($\pi$) che massimizzi l'utilità netta attesa: $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$.

2. Percezione Multisensoriale e Aggiornamento della Credenza:
Il modello mantiene una distribuzione di credenza su una griglia polare egocentrica ($R \times \Theta$).

• Verosimiglianza Uditiva: Basata sulle Differenze di Tempo Interaurale (ITD). Modellata come una distribuzione gaussiana sugli angoli azimutali, indipendente dalla distanza. Fornisce evidenza omnidirezionale anche quando il bersaglio è occluso.
• Verosimiglianza Visiva: Fornisce evidenza ad alta precisione e dipendente dalla visuale. Tiene conto dell'occlusione (solo l'oggetto più vicino in una linea di vista è visibile) e della similarità delle caratteristiche. L'evidenza visiva viene accumulata nel tempo utilizzando una media mobile esponenziale per gestire la rotazione della testa.
• Aggiornamento della Credenza: La credenza posteriore viene aggiornata combinando la distribuzione a priori con la verosimiglianza congiunta degli indizi uditivi e visivi nello spazio logaritmico. Un meccanismo di aggiornamento "permeabile" (leaky) consente al modello di mantenere ipotesi multimodali (considerando i distrattori) finché l'evidenza non diventa decisiva.

3. Apprendimento della Politica:
Poiché risolvere il POMDP analiticamente è intrattabile, gli autori utilizzano l'Apprendimento per Rinforzo (RL) con l'Ottimizzazione della Politica Prossimale (PPO). L'agente apprende una politica razionale rispetto alle risorse attraverso tentativi ed errori, bilanciando il valore del guadagno di informazione rispetto ai costi fisici delle azioni.

Raccolta Dati

Per validare il modello, gli autori hanno condotto uno studio in Realtà Virtuale (VR) con 12 partecipanti.

• Task: I partecipanti cercavano un'auto di un colore specifico che emetteva un suono di "beep" in un parcheggio virtuale.
• Variabili:
  • Angolo: Direzione iniziale del bersaglio (Davanti, Lato, Dietro).
  • Complessità: Numero di oggetti (5, 7, 12 auto).
  • Distrattori: Numero di distrattori visivi (0, 2, 4 auto dello stesso colore del bersaglio).
• Metriche: Tempo di ricerca, rotazione cumulativa della testa, spostamento (distanza percorsa) e accuratezza di localizzazione.
• Protocollo: I partecipanti camminavano fisicamente e ruotavano all'interno di una stanza ampia indossando un Meta Quest 3. Si impegnavano su una posizione premendo un pulsante, dopodiché stimavano la posizione del bersaglio.

Risultati Chiave

1. Allineamento Comportamentale

Sensonaut ha riprodotto con successo i pattern sistematici chiave del comportamento di ricerca umano in 270 mappe di test:

• Tempo di Ricerca: Sia gli umani che il modello impiegavano più tempo per trovare bersagli situati dietro di loro o in presenza di più distrattori.
• Rotazioni della Testa: Entrambi aumentavano significativamente la rotazione della testa quando i bersagli erano dietro o in presenza di distrattori. Il modello ha catturato la correlazione ($R^2 = 0,58$) tra le rotazioni della testa umane e quelle del modello, nonostante il modello utilizzi passi fissi di 30° mentre gli umani ruotano continuamente.
• Accuratezza: Entrambi mantenevano un'alta accuratezza (~95%), con lievi cali in condizioni difficili (angoli laterali/posteriori, alto numero di distrattori). Il modello ha spiegato il 35% della varianza nell'accuratezza umana.
• Spostamento: Il modello generalmente minimizzava il camminare in modo più aggressivo rispetto agli umani ($R^2 = 0,06$), riflettendo la sua esplicita funzione di costo. Gli umani mostravano una maggiore variabilità nelle distanze percorse.

2. Strategie Emergenti

Il modello ha mostrato tre strategie caratteristiche, simili a quelle umane, guidate dalla razionalità delle risorse:

• Impegno Precoce (Early Commit): Quando l'evidenza iniziale era forte, sia gli umani che il modello si impegnavano immediatamente senza movimento.
• Rotazioni della Testa per l'Utilità: Quando l'evidenza iniziale era ambigua (ad esempio, confusione fronte-retro), entrambi utilizzavano rotazioni della testa a basso costo per raccogliere informazioni e affinare la distribuzione della credenza prima di impegnarsi.
• Locomozione per la Disambiguazione: Quando le rotazioni della testa erano insufficienti (ad esempio, bersagli occlusi o distrattori allineati), entrambi si muovevano in nuove posizioni per risolvere l'ambiguità tramite parallasse di movimento o cambiamenti di occlusione.

3. Riproduzione degli Errori

Il modello ha riprodotto con successo specifici modi di errore umani:

• Errori guidati dall'occlusione: Sia gli umani che il modello selezionavano frequentemente un distrattore visibile quando il vero bersaglio era occluso, portando a una falsa certezza.
• Confusione Prossimità/Profondità: Entrambi venivano fuorviati da distrattori che erano più vicini o più lontani ma allineati nell'angolo visivo, selezionando l'oggetto errato a causa di picchi posteriori non risolti.
• Nota: Il modello non ha riprodotto le "confusioni fronte-retro" in cui gli umani si impegnavano precocemente su un oggetto frontale mentre il bersaglio era dietro; il modello eseguiva costantemente rotazioni della testa per risolvere questa ambiguità.

Significato e Rivendicazioni

L'articolo sostiene che Sensonaut fornisce un account razionale rispetto alle risorse della ricerca audiovisiva incarnata. La sua importanza risiede in:

1. Unificare Percezione e Azione: Colma il divario tra i modelli percettivi di basso livello e le architetture cognitive di alto livello, integrando l'integrazione degli indizi con i costi dell'azione incarnata all'interno di un unico framework POMDP.
2. Capacità Predittiva: Predice non solo i tassi di successo, ma anche il tempo, lo sforzo e i modi di errore specifici associati ai compiti di ricerca sotto diverse complessità.
3. Utilità di Design: Il modello funge da strumento di simulazione per progettare interfacce audiovisive (ad esempio, in XR, sistemi assistivi) che minimizzino i costi di ricerca e il carico cognitivo. Permette ai progettisti di testare come la disposizione spaziale, i distrattori e gli indizi di guida influenzino il comportamento dell'utente prima del dispiegamento.
4. Validazione della Razionalità delle Risorse: I risultati supportano l'ipotesi che il comportamento di ricerca umano non sia semplicemente una reazione all'input sensoriale, ma un'ottimizzazione strategica del guadagno di informazioni rispetto ai costi fisici e temporali.

Gli autori concludono che, sebbene il modello non corrisponda perfettamente alla variabilità umana nella locomozione (a causa dei passi d'azione grossolani e delle assunzioni di visibilità binaria), esso cattura le dinamiche strategiche essenziali della ricerca incarnata, offrendo una base rigorosa per la progettazione basata sulla simulazione nell'ambito dell'HCI.