Resumen Técnico: Simulación del Comportamiento de Búsqueda Audiovisual Humana

Planteamiento del Problema

Localizar objetivos en el espacio utilizando claves auditivas y visuales es un desafío fundamental en la Interacción Humano-Computadora (HCI), particularmente en entornos ubicuos e inmersivos (por ejemplo, encontrar un coche en un aparcamiento o a un interlocutor en una reunión virtual). Los modelos computacionales actuales de búsqueda audiovisual sufren dos limitaciones primarias:

1. Aislamiento de la Percepción y la Acción: Los modelos existentes suelen tratar la localización sensorial (por ejemplo, la audición binaural) y la toma de decisiones cognitivas como procesos separados. No logran capturar cómo los humanos coordinan de manera adaptativa el movimiento (rotación de la cabeza, locomoción) con las estrategias sensoriales para resolver ambigüedades perceptivas como el ruido, la oclusión y la confusión frente-atrás.
2. Falta de Restricciones de Recursos: Los modelos tradicionales de "observador ideal" (por ejemplo, la inferencia bayesiana) asumen estrategias de búsqueda óptimas y exhaustivas que ignoran los costes físicos (tiempo, esfuerzo, riesgo de colisión) que enfrentan los humanos. No tienen en cuenta los compromisos (trade-offs) que las personas realizan entre la precisión y el coste de la obtención de información.

El artículo argumenta que es necesario un modelo computacional que unifique la inferencia sensorial con la toma de decisiones racional respecto a los recursos bajo observabilidad parcial para predecir el comportamiento, el tiempo de búsqueda, el esfuerzo y los modos de error del usuario.

Metodología

El Modelo Sensonaut

Los autores presentan Sensonaut, un modelo computacional de búsqueda audiovisual encarnada (embodied). El supuesto central es que las personas despliegan sus cuerpos y sistemas sensoriales para mejorar eficientemente sus posibilidades de localizar un objetivo, intercambiando tiempo y esfuerzo bajo restricciones perceptivas.

1. Marco Formal (POMDP):
La tarea se formaliza como un Proceso de Decisión de Markov Parcialmente Observable (POMDP):

• Estado ($S$): Ubicación oculta del objetivo (coordenadas polares), posición/orientación del agente y diseño de la escena (distractores/oculadores).
• Acciones ($A$): Acciones encarnadas discretas: girar_izquierda, girar_derecha, avanzar, quedarse y comprometerse (commit).
• Observaciones ($O$): El agente no ve directamente los datos sensoriales brutos, sino que opera sobre una distribución de creencia posterior ($b_t$) sobre las posibles ubicaciones del objetivo. Esta creencia se actualiza paso a paso basándose en claves auditivas y visuales ruidosas.
• Recompensa ($R$): Definida como Utilidad ($U$) menos Coste ($C$).
  • Utilidad: Recompensa positiva por identificar correctamente el objetivo dentro de una tolerancia; penalización por errores.
  • Coste: Penalizaciones por esfuerzo físico (giros de cabeza, locomoción), tiempo (espera) y colisiones.
• Objetivo: Aprender una política ($\pi$) que maximice la utilidad neta esperada: $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$.

2. Percepción Multisensorial y Actualización de la Creencia:
El modelo mantiene una distribución de creencia sobre una rejilla polar egocéntrica ($R \times \Theta$).

• Verosimilitud Auditiva: Basada en Diferencias de Tiempo Interaural (ITD). Se modela como una distribución gaussiana sobre ángulos de azimut, independiente del rango. Proporciona evidencia omnidireccional incluso cuando el objetivo está oculto.
• Verosimilitud Visual: Proporciona evidencia de alta precisión y dependiente de la vista. Tiene en cuenta la oclusión (solo el objeto más cercano en una línea de visión es visible) y la similitud de características. La evidencia visual se acumula en el tiempo mediante un promedio móvil exponencial para gestionar la rotación de la cabeza.
• Actualización de la Creencia: La creencia posterior se actualiza combinando la creencia previa con la verosimilitud conjunta de las claves auditivas y visuales en el espacio logarítmico. Un mecanismo de actualización "con fugas" (leaky) permite al modelo mantener hipótesis multimodales (considerando distractores) hasta que la evidencia sea decisiva.

3. Aprendizaje de la Política:
Dado que resolver el POMDP analíticamente es intratable, los autores utilizan Aprendizaje por Refuerzo (RL) con Optimización de Política Próxima (PPO). El agente aprende una política racional respecto a los recursos mediante el ensayo y error, equilibrando el valor de la ganancia de información frente a los costes físicos de las acciones.

Recolección de Datos

Para validar el modelo, los autores realizaron un estudio en Realidad Virtual (VR) con 12 participantes.

• Tarea: Los participantes buscaban un coche de un color específico que emitía un sonido de pitido en un aparcamiento virtual.
• Variables:
  • Ángulo: Dirección inicial del objetivo (Frente, Lateral, Atrás).
  • Complejidad: Número de objetos (5, 7, 12 coches).
  • Distractores: Número de distractores visuales (0, 2, 4 coches del color del objetivo).
• Métricas: Tiempo de búsqueda, rotación acumulada de la cabeza, desplazamiento (distancia de caminata) y precisión de localización.
• Protocolo: Los participantes caminaban y giraban físicamente en una sala grande mientras usaban un Meta Quest 3. Se comprometían con una ubicación presionando un botón, tras lo cual estimaban la posición del objetivo.

Resultados Clave

1. Alineación Conductual

Sensonaut reprodujo con éxito patrones sistemáticos clave del comportamiento de búsqueda humano en 270 mapas de prueba:

• Tiempo de Búsqueda: Tanto los humanos como el modelo tardaron más en encontrar objetivos situados detrás de ellos o cuando había más distractores presentes.
• Giros de Cabeza: Ambos aumentaron significativamente la rotación de la cabeza cuando los objetivos estaban detrás o cuando había distractores. El modelo capturó la correlación ($R^2 = 0.58$) entre los giros de cabeza humanos y del modelo, a pesar de que el modelo utiliza pasos fijos de 30° mientras que los humanos rotan continuamente.
• Precisión: Ambos mantuvieron una alta precisión (~95%), con ligeras caídas en condiciones difíciles (ángulos laterales/traseros, alto recuento de distractores). El modelo explicó el 35% de la varianza en la precisión humana.
• Desplazamiento: El modelo generalmente minimizó la caminata de forma más agresiva que los humanos ($R^2 = 0.06$), reflejando su función de coste explícita. Los humanos mostraron una mayor variabilidad en las distancias de caminata.

2. Estrategias Emergentes

El modelo exhibió tres estrategias características de tipo humano impulsadas por la racionalidad de recursos:

• Compromiso Temprano (Early Commit): Cuando la evidencia inicial era fuerte, tanto los humanos como el modelo se comprometían inmediatamente sin movimiento.
• Giros de Cabeza por Utilidad: Cuando la evidencia inicial era ambigua (por ejemplo, confusión frente-atrás), ambos utilizaron giros de cabeza de bajo coste para reunir información y agudizar la distribución de la creencia antes de comprometerse.
• Locomoción para la Desambiguación: Cuando los giros de cabeza eran insuficientes (por ejemplo, objetivos ocluidos o distractores alineados), ambos se movieron a nuevas posiciones para resolver la ambigüedad mediante el paralaje de movimiento o cambios de oclusión.

3. Reproducción de Errores

El modelo reprodujo con éxito modos de error humanos específicos:

• Errores impulsados por la Oclusión: Tanto los humanos como el modelo seleccionaron frecuentemente un distractor visible cuando el objetivo real estaba ocluido, lo que llevó a una falsa certeza.
• Confusión de Proximidad/Profundidad: Ambos fueron engañados por distractores que estaban más cerca o más lejos pero alineados en el ángulo visual, seleccionando el objeto incorrecto debido a picos de la posterior no resueltos.
• Nota: El modelo no reprodujo las "confusiones frente-atrás" donde los humanos se comprometían prematuramente con un objeto frontal mientras el objetivo estaba detrás; el modelo realizó consistentemente giros de cabeza para resolver esta ambigüedad.

Significado y Reivindicaciones

El artículo afirma que Sensonaut proporciona un relato racional respecto a los recursos de la búsqueda audiovisual encarnada. Su importancia radica en:

1. Unificación de Percepción y Acción: Cierra la brecha entre los modelos perceptivos de bajo nivel y las arquitecturas cognitivas de alto nivel al integrar la integración de claves con los costes de acción encarnada dentro de un único marco POMDP.
2. Capacidad Predictiva: Predice no solo las tasas de éxito, sino también el tiempo, el esfuerzo y los modos de error específicos asociados con las tareas de búsqueda bajo diversas complejidades.
3. Utilidad de Diseño: El modelo sirve como herramienta de simulación para diseñar interfaces audiovisuales (por ejemplo, en XR, sistemas de asistencia) que minimicen los costes de búsqueda y la carga cognitiva. Permite a los diseñadores probar cómo los diseños espaciales, los distractores y las claves de guía afectan el comportamiento del usuario antes de su despliegue.
4. Validación de la Racionalidad de Recursos: Los resultados apoyan la hipótesis de que el comportamiento de búsqueda humano no es simplemente una reacción a la entrada sensorial, sino una optimización estratégica de la ganancia de información frente a los costes físicos y temporales.

Los autores concluyen que, si bien el modelo no coincide perfectamente con la variabilidad humana en la locomoción (debido a los pasos de acción gruesos y las suposiciones de visibilidad binaria), captura las dinámicas estratégicas esenciales de la búsqueda encarnada, ofreciendo una base sólida para el diseño basado en simulaciones en HCI.