Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues

Resumo Técnico: Quebrando a Barreira dos 15%

Declaração do Problema
Robôs de serviço em ambientes de varejo utilizam cada vez mais pipelines de fala em cascata (Speech-to-Text, Large Language Models, Text-to-Speech) para facilitar interações com clientes. No entanto, esses sistemas baseados apenas em áudio não levam em conta a parcela significativa de interações iniciadas ou guiadas por comportamentos não verbais, como aproximar-se, acenar, apontar ou mostrar itens. Em implementações no mundo real, essa limitação leva a oportunidades perdidas de engajamento, pois o robô não consegue responder à intenção do usuário transmitida exclusivamente através de pistas visuais. Embora os Modelos de Linguagem e Visão (VLMs) ofereçam uma compreensão comportamental detalhada, sua alta latência computacional os torna inadequados para interações multipessoais em tempo real, onde os atrasos de resposta devem permanecer abaixo de um segundo.

Metodologia
Os autores propõem uma estrutura orientada a dados que integra o reconhecimento de pistas não verbais em tempo real com a geração de enunciados baseada em LLM. A metodologia procede em três estágios:

1. Coleta e Análise de Dados:

   • Um robô humanoide teleoperado (Sota) foi implantado em uma farmácia japonesa por seis dias (32 horas operacionais).
   • Operadores controlaram a fala, os gestos e o olhar do robô por meio de uma interface remota, com conversão de voz para corresponder à aparência do robô.
   • A partir de 2.178 enunciados registrados do robô, os autores identificaram que 15,3% (334 enunciados) foram disparados por comportamentos não verbais do usuário, em vez de entrada de voz.
   • Um processo de anotação categorizou esses gatilhos em 21 tipos de comportamento e os mapeou para cinco categorias de intenção de diálogo (ex: Social e Saudação, Informação relacionada à tarefa, Convite ao engajamento).
   • Com base na frequência e relevância de serviço, nove comportamentos principais foram selecionados para reconhecimento: Aproximou-se, Afastou-se, Interação usuário-usuário, Acenou com a cabeça, Mostrou itens, Olhou atentamente para o robô, Tocou em pertences, Apontou e Acenou.

2. Reconhecimento de Pistas Não Verbais em Tempo Real:

   • Uma arquitetura de reconhecimento leve, multi-pessoa e multi-rótulo foi desenvolvida para processar clipes de vídeo em tempo real.
   • Arquitetura: O sistema utiliza um Vision Transformer pré-treinado (V-JEPA2) como extrator de características da cena de vídeo. Para cada pessoa rastreada, uma sequência de caixas delimitadoras (bounding boxes) é processada por um MLP para extrair características posicionais.
   • Fusão: As características da cena e as características posicionais são fundidas via produto elemento a elemento (Hadamard). Um pooler de atenção (Cross-Attention) agrega essas características fundidas em uma representação específica por pessoa.
   • Classificação: Um classificador MLP final gera os logits para os nove comportamentos alvo. O modelo é treinado com perda de entropia cruzada binária e ponderação de classe para lidar com o desequilíbrio de dados.
   • Desempenho: O reconhecedor atinge um F1-score médio micro de 0,80 e opera a aproximadamente 8 FPS, satisfazendo a restrição de tempo real (>1 FPS) necessária para uma interação natural.

3. Estrutura de Diálogo Proativo:

   • O sistema emprega um pipeline em cascata onde o reconhecedor não verbal roda em paralelo com o sistema de diálogo.
   • Os comportamentos reconhecidos são codificados como tokens de prompt (ex: [acenou], [mostrou itens]) e anexados ao histórico de diálogo enviado ao LLM (Gemini 2.5 Flash).
   • Para o caso específico de "Mostrou itens", um VLM é opcionalmente acionado para identificar o objeto e gerar comentários contextualizados.
   • Isso permite que o LLM gere respostas proativas condicionadas a pistas visuais sem depender de regras manuais para cada cenário.

Principais Resultados

• Insight de Dados: O estudo quantifica que gatilhos não verbais representam uma parcela não negligenciável de 15,3% dos enunciados do robô em um ambiente de varejo, validando a necessidade de entrada multimodal.
• Precisão do Reconhecimento: O modelo proposto alcança alta precisão para comportamentos com movimento distinto (ex: Aproximou-se: 0,90 F1, Mostrou itens: 0,88 F1). Embora comportamentos mais raros como Interação usuário-usuário (0,47 F1) e Apontou (0,62 F1) apresentem desafios, o sistema mantém um F1-score médio micro robusto de 0,80.
• Avaliação Offline: Em experimentos offline usando rastreios de verdade fundamental (ground-truth), o sistema alcançou 49,1% de concordância com as intenções do teleoperador em todas as categorias. O desempenho foi maior para Social e Saudação (69% de precisão), impulsionado por pistas frequentes como aproximação e acenos. A precisão foi menor para Informação e diretivas relacionadas à tarefa devido à raridade do comportamento gatilho (Tocou em pertences) e à falta de contexto ambiental específico no prompt mínimo.
• Protótipo Online: Um protótipo em tempo real foi implementado com sucesso em hardware padrão (RTX 3080), demonstrando a viabilidade de todo o pipeline (detecção, rastreamento, reconhecimento e geração) em um ambiente vivo.

Significância e Alegações
O artigo afirma fornecer uma estrutura prática e implantável para preencher a lacça entre sistemas de diálogo baseados apenas em áudio e a realidade multimodal da interação humano-robô. Suas principais contribuições são:

1. Validação Empírica: Fornece evidências do mundo real de que uma parte significativa das interações de serviço é impulsionada por pistas não verbais, desafiando a suficiência dos atuais pipelines centrados na fala.
2. Design de Sistema: Demonstra que um modelo de reconhecimento leve e em tempo real pode ser efetivamente integrado a LLMs para gerar respostas proativas e contextualizadas sem a latência de modelos de fundação pesados.
3. Diretrizes de Design: A análise da correlação entre comportamentos não verbais específicos e intenções de diálogo oferece orientações concretas para priorizar quais pistas detectar em futuras implantações de robôs de varejo.

Os autores reconhecem modestamente as limitações, observando que a avaliação atual é primariamente offline e baseada em intenção, e que a generalização entre diferentes layouts de lojas e níveis de multidão requer investigação adicional. Eles enfatizam que o sistema atualmente lida bem com pistas sociais frequentes, mas tem dificuldade com diretivas específicas de tarefas que são raras e exigem conhecimento ambiental detalhado.