Technisches Resümee: Simulation des menschlichen audiovisuellen Suchverhaltens

Problemstellung

Das Lokalisieren von Zielobjekten im Raum unter Verwendung auditiver und visueller Hinweise ist eine grundlegende Herausforderung in der Mensch-Computer-Interaktion (HCI), insbesondere in ubiquitären und immersiven Umgebungen (z. B. das Finden eines Autos auf einem Parkplatz oder eines Sprechers in einem virtuellen Meeting). Aktuelle computational Modelle der audiovisuellen Suche leiden unter zwei primären Einschränkungen:

1. Isolierung von Wahrnehmung und Handlung: Bestehende Modelle behandeln die sensorische Lokalisation (z. B. binaurales Hören) und die kognitive Entscheidungsfindung oft als getrennte Prozesse. Sie versäumen es, zu erfassen, wie Menschen Bewegungen (Kopfrotation, Fortbewegung) adaptiv mit sensorischen Strategien koordinieren, um perzeptive Ambiguitäten wie Rauschen, Okklusion und Vorne-Hinten-Verwechslungen aufzulösen.
2. Mangel an Ressourcenbeschränkungen: Traditionelle „ideale Beobachter“-Modelle (z. B. Bayessche Inferenz) setzen optimale, erschöpfende Suchstrategien voraus und ignorieren dabei die physischen Kosten (Zeit, Aufwand, Kollisionsrisiko), mit denen Menschen konfrontiert sind. Sie berücksichtigen nicht die Abwägungen, die Menschen zwischen Genauigkeit und dem Aufwand zur Informationsbeschaffung treffen.

Das Paper argumentet, dass ein Computational Modell benötigt wird, das die sensorische Inferenz mit ressourcenrationaler Entscheidungsfindung unter partieller Beobachtbarkeit vereint, um Nutzerverhalten, Suchzeit, Aufwand und Fehlermodi vorherzusagen.

Methodik

Das Sensonaut-Modell

Die Autoren führen Sensonaut ein, ein computationales Modell der verkörperten (embodied) audiovisuellen Suche. Die Kernannahme ist, dass Menschen ihren Körper und ihre sensorischen Systeme einsetzen, um ihre Chancen auf das Auffinden eines Ziels effizient zu verbessern, wobei sie Zeit und Aufwand unter perzeptiven Beschränkungen gegeneinander abwägen.

1. Formales Framework (POMDP):
Die Aufgabe wird als Partiell Beobachtbarer Markov-Entscheidungsprozess (POMDP) formalisiert:

• Zustand ($S$): Verborgene Zielposition (Polarkoordinaten), Position/Ausrichtung des Agenten und Szenenlayout (Distraktoren/Okkluder).
• Aktionen ($A$): Diskrete verkörperte Aktionen: turn_left (links drehen), turn_right (rechts drehen), move_forward (vorwärts bewegen), stay (bleiben) und commit (entscheiden/bestätigen).
• Beobachtungen ($O$): Der Agent erhält keine direkten Rohdaten der Sensorik, sondern operiert auf einer Posteriori-Glaubensverteilung ($b_t$) über potenzielle Zielpositionen. Dieser Glaube wird schrittweise basierend auf verrauschten auditiven und visuellen Hinweisen aktualisiert.
• Belohnung ($R$): Definiert als Nutzen ($U$) abzüglich Kosten ($C$).
  • Nutzen: Positive Belohnung für die korrekte Identifizierung des Ziels innerhalb einer Toleranz; Strafe für Fehler.
  • Kosten: Strafen für physischen Aufwand (Kopfdrehen, Fortbewegung), Zeit (Warten) und Kollisionen.
• Ziel: Erlernen einer Policy ($\pi$), die den erwarteten Nettonutzen maximiert: $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$.

2. Multisensorische Wahrnehmung und Glaubensaktualisierung:
Das Modell unterhält eine Glaubensverteilung über ein egozentrisches Polargitter ($R \times \Theta$).

• Auditive Likelihood: Basierend auf Interauralen Zeitdifferenzen (ITD). Als Gauß-Verteilung über Azimutwinkel modelliert, unabhängig von der Distanz. Sie liefert omnidirektionale Evidenz, selbst wenn das Ziel okkludiert ist.
• Visuelle Likelihood: Liefert hochpräzise, ansichtsbedingte Evidenz. Sie berücksichtigt Okklusion (nur das nächste Objekt in einer Sichtlinie ist sichtbar) und Merkmalsähnlichkeit. Visuelle Evidenz wird mittels eines exponentiellen gleitenden Durchschnitts über die Zeit akkumuliert, um Kopfdrehungen zu handhaben.
• Glaubensaktualisierung: Die Posteriori-Verteilung wird durch Kombination des Priors mit der gemeinsamen Likelihood aus auditiven und visuellen Hinweisen im Log-Raum aktualisiert. Ein „leaky“ Aktualisierungsmechanismus ermöglicht es dem Modell, multimodale Hypothesen (unter Berücksichtigung von Distraktoren) aufrechtzuerhalten, bis die Evidenz entscheidend wird.

3. Policy-Lernen:
Da das Lösen des POMDP analytisch unpraktikabel ist, verwenden die Autoren Reinforcement Learning (RL) mit Proximal Policy Optimization (PPO). Der Agent lernt eine ressourcenrationale Policy durch Versuch und Irrtum, indem er den Wert des Informationsgewinns gegen die physischen Kosten von Aktionen abwägt.

Datenerhebung

Zur Validierung des Modells führten die Autoren eine kontrollierte Virtual-Reality-Studie (VR) mit 12 Teilnehmern durch.

• Aufgabe: Teilnehmer suchten nach einem spezifisch farbigen Auto, das ein piependes Geräusch aussendete, in einem virtuellen Parkplatz.
• Variablen:
  • Winkel: Initiale Zielrichtung (Vorne, Seite, Hinten).
  • Komplexität: Anzahl der Objekte (5, 7, 12 Autos).
  • Distraktoren: Anzahl der visuellen Distraktoren (0, 2, 4 Autos der Zielfarbe).
• Metriken: Suchzeit, kumulative Kopfdrehung, Verschiebung (Gehdistanz) und Lokalisierungsgenauigkeit.
• Protokoll: Teilnehmer liefen und drehten sich physisch in einem großen Raum, während sie eine Meta Quest 3 trugen. Sie bestätigten eine Position durch Drücken eines Buttons, woraufhin sie die Position des Ziels schätzten.

Kernergebnisse

1. Verhaltensabgleich

Sensonaut konnte wesentliche systematische Muster des menschlichen Suchverhaltens über 270 Testkarten erfolgreich reproduzieren:

• Suchzeit: Sowohl Menschen als auch das Modell benötigten länger, um Ziele zu finden, die sich hinter ihnen befanden oder wenn mehr Distraktoren vorhanden waren.
• Kopfdrehen: Beide erhöhten die Kopfdrehung signifikant, wenn Ziele hinter ihnen oder Distraktoren vorhanden waren. Das Modell erfasste die Korrelation ($R^2 = 0,58$) zwischen menschlichen und Modell-Kopfdrehungen, obwohl das Modell feste 30°-Schritte verwendet, während Menschen kontinuierlich rotieren.
• Genauigkeit: Beide behielten eine hohe Genauigkeit (~95%) bei, mit leichten Rückgängen unter schwierigen Bedingungen (Seiten-/Hinten-Winkel, hohe Distraktorenanzahl). Das Modell erklärte 35 % der Varianz der menschlichen Genauigkeit.
• Verschiebung (Displacement): Das Modell minimierte das Gehen im Allgemeinen aggressiver als Menschen ($R^2 = 0,06$), was seine explizite Kostenfunktion widerspiegelt. Menschen zeigten eine höhere Variabilität in den Gehdistanzen.

2. Emergente Strategien

Das Modell zeigte drei charakteristische, menschenähnliche Strategien, die durch Ressourcenrationalität getrieben wurden:

• Frühes Bestätigen (Early Commit): Wenn die initiale Evidenz stark war, bestätigten sowohl Menschen als auch das Modell sofort ohne Bewegung.
• Kopfdrehen zur Nutzenmaximierung: Wenn die initiale Evidenz ambivalent war (z. B. Vorne-Hinten-Verwechslung), nutzten beide kostengünstige Kopfdrehen, um Informationen zu sammeln und die Glaubensverteilung zu schärfen, bevor sie entschieden.
• Fortbewegung zur Disambiguierung: Wenn Kopfdrehen unzureichend waren (z. B. okkludierte Ziele oder ausgerichtete Distraktoren), bewegten sich beide an neue Positionen, um die Ambiguität durch Bewegungsparallaxe oder Änderungen der Okklusion aufzulösen.

3. Reproduktion von Fehlern

Das Modell reproduzierte erfolgreich spezifische menschliche Fehlermodi:

• Okklusionsgetriebene Fehler: Sowohl Menschen als als auch das Modell wählten häufig einen sichtbaren Distraktor, wenn das wahre Ziel verdeckt war, was zu falscher Gewissheit führte.
• Proximitäts-/Tiefenverwechslung: Beide wurden von Distraktoren getäuscht, die näher oder weiter entfernt waren, aber auf derselben visuellen Linie lagen, und wählten das falsche Objekt aufgrund ungelöster Posteriori-Peaks.
• Hinweis: Das Modell reproduzierte nicht die „Vorne-Hinten-Verwechslungen“, bei denen Menschen frühzeitig ein Objekt vorne wählten, während das Ziel hinten war; das Modell führt konsistent Kopfdrehen durch, um diese Ambiguität aufzulösen.

Bedeutung und Ansprüche

Das Paper behauptet, dass Sensonaut eine ressourcenrationale Erklärung der verkörperten audiovisuellen Suche liefert. Seine Bedeutung liegt in:

1. Vereinigung von Wahrnehmung und Handlung: Es schließt die Lücke zwischen niederschwelligen Perzeptionsmodellen und High-Level-kognitiven Architekturen, indem es die Integration von Hinweis-Kombination (Cue Integration) mit verkörperten Handlungskosten in ein einheitliches POMDP-Framework integriert.
2. Prädiktive Kapazität: Es sagt nicht nur Erfolgsraten voraus, sondern auch die Zeit, den Aufwand und die spezifischen Fehlermodi, die mit Suchaufgaben unter variierenden Komplexitäten verbunden sind.
3. Design-Nutzen: Das Modell dient als Simulationswerkzeug für das Design audiovisueller Schnittstellen (z. B. in XR, assistive Systeme), um die Suchkosten und die kognitive Belastung zu minimieren. Es ermöglicht Designern, wie räumliche Layouts, Distraktoren und Führungshinweise das Nutzerverhalten vor dem Einsatz beeinflussen, zu testen.
4. Validierung der Ressourcenrationalität: Die Ergebnisse stützen die Hypothese, dass menschliches Suchverhalten nicht bloß eine Reaktion auf sensorische Inputs ist, sondern eine strategische Optimierung des Informationsgewinns gegenüber physischen und zeitlichen Kosten.

Die Autoren kommen zu dem Schluss, dass das Modell zwar die menschliche Variabilität in der Fortbewegung nicht perfekt abbildet (aufgrund grober Aktionsschritte und binärer Sichtbarkeitsannahmen), aber die wesentlichen strategischen Dynamiken der verkörperten Suche erfasst und somit eine fundierte Basis für simulationsbasiertes Design in der HCI bietet.