Resumo Técnico: Simulando o Comportamento de Busca Audiovisual Humana

Declaração do Problema

Localizar alvos no espaço usando pistas auditivas e visuais é um desafio fundamental na Interação Humano-Computador (IHC), particularmente em ambientes ubíquos e imersivos (ex: encontrar um carro em um estacionamento ou um interlocutor em uma reunião virtual). Os modelos computacionais atuais de busca audiovisual sofrem de duas limitações primárias:

1. Isolamento da Percepção e da Ação: Modelos existentes frequentemente tratam a localização sensorial (ex: audição binaural) e a tomada de decisão cognitiva como processos separados. Eles falham em capturar como os humanos coordenam adaptativamente o movimento (rotação da cabeça, locomoção) com estratégias sensoriais para resolver ambiguidades perceptivas como ruído, oclusão e confusão frente-atrás.
2. Falta de Restrições de Recursos: Modelos tradicionais de "observador ideal" (ex: inferência Bayesiana) assumem estratégias de busca ótimas e exaustivas que ignoram os custos físicos (tempo, esforço, risco de colisão) que os humanos enfrentam. Eles não consideram as compensações (trade-offs) que as pessoas fazem entre precisão e o custo de obter informações.

O artigo argumenta que é necessário um modelo computacional que unifique a inferência sensorial com a tomada de decisão racional em termos de recursos sob observabilidade parcial para prever o comportamento, o tempo de busca, o esforço e os modos de erro do usuário.

Metodologia

O Modelo Sensonaut

Os autores introduzem o Sensonaut, um modelo computacional de busca audiovisual incorporada (embodied). A premissa central é que as pessoas utilizam seus corpos e sistemas sensoriais para melhorar eficientemente suas chances de localizar um alvo, equilibrando tempo e esforço sob restrições perceptivas.

1. Estrutura Formal (POMDP):
A tarefa é formalizada como um Processo de Decisão de Markov Parcialmente Observável (POMDP):

• Estado ($S$): Localização oculta do alvo (coordenadas polares), posição/orientação do agente e layout da cena (distratores/oclusores).
• Ações ($A$): Ações incorporadas discretas: girar_esquerda, girar_direita, mover_para_frente, ficar_parado e comprometer_se (commit).
• Observações ($O$): O agente não vê os dados sensoriais brutos diretamente, mas opera sobre uma distribuição de crença posterior ($b_t$) sobre possíveis localizações do alvo. Esta crença é atualizada passo a passo com base em pistas auditivas e visuais ruidosas.
• Recompensa ($R$): Definida como Utilidade ($U$) menos Custo ($C$).
  • Utilidade: Recompensa positiva por identificar corretamente o alvo dentro da tolerância; penalidade por erros.
  • Custo: Penalidades por esforço físico (rotações de cabeça, locomoção), tempo (espera) e colisões.
• Objetivo: Aprender uma política ($\pi$) que maximize a utilidade líquida esperada: $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$.

2. Percepção Multissensorial e Atualização de Crença:
O modelo mantém uma distribuição de crença sobre uma grade polar egocêntrica ($R \times \Theta$).

• Verossimilhança Auditiva: Baseada em Diferenças de Tempo Interaurais (ITD). Modelada como uma distribuição Gaussiana sobre ângulos de azimute, independente do alcance. Fornece evidência omnidirecional mesmo quando o alvo está ocluído.
• Verossimilhança Visual: Fornece evidência de alta precisão e dependente da visão. Leva em conta a oclusão (apenas o objeto mais próximo em uma linha de visão é visível) e a similaridade de características. A evidência visual é acumulada ao longo do tempo usando uma média móvel exponencial para lidar com a rotação da cabeça.
• Atualização de Crença: A crença posterior é atualizada combinando a crença anterior (prior) com a verossimilhança conjunta das pistas auditivas e visuais em log-espaço. Um mecanismo de atualização "com vazamento" (leaky) permite que o modelo mantenha hipóteses multimodais (considerando distratores) até que a evidência se torne decisiva.

3. Aprendizado de Política:
Como resolver o POMDP analiticamente é intratável, os autores utilizam Aprendizado por Reforço (RL) com Otimização de Política Próxima (PPO). O agente aprende uma política racional em termos de recursos através de tentativa e erro, equilibrando o ganho de informação com os custos físicos das ações.

Coleta de Dados

Para validar o modelo, os autores conduziram um estudo em Realidade Virtual (VR) com 12 participantes.

• Tarefa: Os participantes procuraram por um carro colorido específico que emitia um som de bipe em um estacionamento virtual.
• Variáveis:
  • Ângulo: Direção inicial do alvo (Frente, Lado, Atrás).
  • Complexidade: Número de objetos (5, 7, 12 carros).
  • Distratores: Número de distratores visuais da cor do alvo (0, 2, 4 carros).
• Métricas: Tempo de busca, rotação cumulativa da cabeça, deslocamento (distância percorrida) e precisão de localização.
• Protocolo: Os participantes caminharam e giraram fisicamente em uma sala ampla enquanto usavam um Meta Quest 3. Eles se comprometiam com uma localização pressionando um botão, após o qual estimavam a posição do alvo.

Principais Resultados

1. Alinhamento Comportamental

O Sensonaut reproduziu com sucesso padrões sistemáticos da busca humana em 270 mapas de teste:

• Tempo de Busca: Tanto humanos quanto o modelo levaram mais tempo para encontrar alvos localizados atrás deles ou quando havia mais distratores presentes.
• Rotações de Cabeça: Ambos aumentaram significativamente a rotação da cabeça quando os alvos estavam atrás ou quando havia distratores. O modelo capturou a correlação ($R^2 = 0,58$) entre as rotações de cabeça humanas e do modelo, apesar de o modelo usar passos fixos de 30° enquanto os humanos giram continuamente.
• Precisão: Ambos mantiveram alta precisão (~95%), com leves quedas em condições difíceis (ângulos laterais/traseiros, contagens altas de distratores). O modelo explicou 35% da variância na precisão humana.
• Deslocamento: O modelo geralmente minimizou a caminhada de forma mais agressiva que os humanos ($R^2 = 0,06$), refletindo sua função de custo explícita. Humanos mostraram maior variabilidade nas distâncias percorridas.

2. Estratégias Emergentes

O modelo exibiu três estratégias características do comportamento humano impulsionadas pela racionalidade de recursos:

• Comprometimento Precoce (Early Commit): Quando a evidência inicial era forte, tanto humanos quanto o modelo se comprometiam imediatamente sem movimento.
• Rotações de Cabeça para Utilidade: Quando a evidência inicial era ambígua (ex: confusão frente-atrás), ambos utilizaram rotações de cabeça de baixo custo para coletar informações e refinar a distribuição de crença antes de se comprometerem.
• Locomoção para Desambiguação: Quando as rotações de cabeça eram insuficientes (ex: alvos ocluídos ou distratores alinhados), ambos se moveram para novas posições para resolver a ambiguidade via paralaxe de movimento ou mudanças de oclusão.

3. Reprodução de Erros

O modelo reproduziu com sucesso modos de erro humanos específicos:

• Erros causados por oclusão: Tanto humanos quanto o modelo frequentemente selecionavam um distrator visível quando o alvo real estava ocluído, levando a uma certeza falsa.
• Confusão de Proximidade/Profundidade: Ambos foram induzidos ao erro por distratores que estavam mais próximos ou mais distantes, mas alinhados no ângulo visual, selecionando o objeto errado devido a picos de posterior não resolvidos.
• Nota: O modelo não reproduziu as "confusões frente-atrás" onde humanos se comprometiam precocemente com um objeto à frente enquanto o alvo estava atrás; o modelo consistentemente realizava rotações de cabeça para resolver essa ambiguidade.

Significância e Alegações

O artigo afirma que o Sensonaut fornece um relato racional em termos de recursos da busca audiovisual incorporada. Sua significância reside em:

1. Unificação da Percepção e da Ação: Ele preenche a lacuna entre modelos perceptivos de baixo nível e arquiteturas cognitivas de alto nível, integrando a integração de pistas com custos de ação incorporada dentro de um único framework POMDP.
2. Capacidade Preditiva: Ele prevê não apenas taxas de sucesso, mas também o tempo, o esforço e os modos de erro específicos associados a tarefas de busca sob diferentes complexidades.
3. Utilidade de Design: O modelo serve como uma ferramenta de simulação para projetar interfaces audiovisuais (ex: em XR, sistemas assistivos) que minimizem custos de busca e carga cognitiva. Permite que designers testem como layouts espaciais, distratores e pistas de orientação afetam o comportamento do usuário antes da implementação.
4. Validação da Racionalidade de Recursos: Os resultados apoiam a hipótese de que o comportamento de busca humana não é meramente uma reação à entrada sensorial, mas uma otimização estratégica do ganho de informação contra custos físicos e temporais.

Os autores concluem que, embora o modelo não corresponda perfeitamente à variabilidade humana na locomoção (devido aos passos de ação grosseiros e suposições de visibilidade binária), ele captura a dinâmica estratégica essencial da busca incorporada, oferecendo uma base principista para o design baseado em simulação em IHC.