A Framework for Low-Latency, LLM-driven Multimodal Interaction on the Pepper Robot

Título: Um Framework para Interação Multimodal de Baixa Latência Impulsionada por LLM no Robô Pepper

1. Problema

O artigo identifica duas limitações críticas nas implementações atuais de Interação Humano-Robô (HRI) que utilizam Modelos de Linguagem de Grande Escala (LLMs), especificamente na plataforma robótica Pepper:

• Alta Latência e Perda de Informação Paralinguística: A maioria dos sistemas existentes utiliza pipelines em cascata sequenciais (Speech-to-Text $\rightarrow$ LLM $\rightarrow$ Text-to-Speech). Essa arquitetura introduz atrasos cumulativos, resultando em tempos de resposta de 3,84 a 8,96 segundos, o que excede o limite de 1-2 segundos considerado aceitável para conversas naturais. Além disso, a conversão de áudio para texto e de volta para áudio descarta informações paralinguísticas cruciais, como prosódia, entonação e pistas emocionais.
• Capacidade Agente e Percepção Multimodal Limitadas: As implementações atuais frequentemente falham em aproveitar totalmente o LLM como um planejador agente capaz de orquestrar ações físicas e integrar feedback sensorial diversificado (visão, tato, estado do sistema) em tempo real. A falta de mecanismos robustos de "Chamada de Função" (Function Calling) impede que o robô converta instruções abstratas em ações concretas e execute percepção ativa.

2. Metodologia

Os autores desenvolveram um framework Android de código aberto projetado para rodar nativamente no tablet do robô Pepper (e também em smartphones/tablets Android padrão), superando as barreiras de integração do ecossistema Java/Android antigo do Pepper. A metodologia baseia-se em duas inovações principais:

• Integração de Modelos de Fala-a-Fala (Speech-to-Speech - S2S):

  • Substituição do pipeline cascata por modelos S2S end-to-end (fornecidos por OpenAI, Azure, x.ai e Google).
  • O sistema processa áudio diretamente, eliminando a latência de transcrição e síntese separadas.
  • Preserva e gera pistas paralinguísticas, permitindo que o modelo adapte sua própria entonação, tom e ritmo com base no conteúdo e na entrada do usuário.
  • Implementa comunicação dúplex adaptada: o microfone é silenciado durante a fala do robô (devido à falta de cancelamento de eco no hardware do Pepper), mas o usuário pode interromper a fala tocando na tela.

• LLM como Planejador Agente com Chamada de Função (Function Calling):

  • O LLM atua como um orquestrador central que seleciona e invoca dinamicamente uma biblioteca de ferramentas (Funções).
  • Orquestração de Ações: O LLM controla navegação, controle de olhar (gaze) e interação com o tablet.
  • Percepção Multimodal Ativa: O sistema usa uma arquitetura orientada a eventos. Por exemplo, se o usuário pergunta "O que você vê no teto?", o LLM invoca look_at_position (para mover o olhar) e depois analyze_vision (para capturar uma imagem e enviá-la ao modelo multimodal para análise direta).
  • Integração de Sensores: O framework integra dados de sensores táteis (toque na cabeça, mãos e para-choques) e um sistema de percepção de pessoas local (baseado em YuNet/SFace) que roda na cabeça do robô, fornecendo contexto ao LLM para respostas socialmente apropriadas.

3. Principais Contribuições

• Framework Android Nativo e Modular: Uma implementação completa que roda no dispositivo, eliminando a necessidade de computadores externos ou softwares de ponte, facilitando a implantação.
• Sistema de Build Duplo (Dual Build-Flavor): O mesmo código base pode ser compilado para o robô Pepper (usando QiSDK para controle físico e câmera) ou para dispositivos Android padrão (usando APIs de câmera e simulando movimentos), desacoplando o desenvolvimento do hardware físico.
• Biblioteca de Ferramentas Rica: Inclui ferramentas para navegação, análise visual, busca na web, clima, jogos interativos e reprodução de mídia, todas expostas ao LLM via chamadas de função.
• Configurabilidade em Tempo Real: Um painel de configurações permite aos pesquisadores alternar entre diferentes provedores de modelos S2S, modos de entrada de áudio (direto ou via STT intermediário) e ajustar prompts do sistema.
• Código Aberto: Disponibilizado sob licença MIT, com documentação abrangente e estrutura de código limpa (Kotlin, Coroutines, Hilt), separando a lógica central das implementações específicas de hardware.

4. Resultados e Desempenho

• Latência Reduzida: Ao utilizar modelos S2S end-to-end, o sistema atinge tempos de resposta significativamente menores, aproximando-se do fluxo de conversação natural (abaixo do limiar de 1-2 segundos), superando as limitações dos sistemas baseados em cascata.
• Interação Natural: A preservação da entonação e a capacidade de interrupção do usuário criam uma experiência conversacional mais fluida e empática.
• Validação Funcional: O framework foi testado com sucesso no robô Pepper, demonstrando a capacidade de realizar tarefas complexas que exigem múltiplos passos (ex: olhar para um local, capturar imagem, analisar e descrever) e responder a estímulos táteis e de percepção de pessoas.
• Flexibilidade de Implantação: A capacidade de rodar em smartphones Android permite que pesquisadores prototipem e testem lógicas de interação sem acesso ao robô físico, acelerando o ciclo de desenvolvimento.

5. Significado e Impacto

Este trabalho oferece um blueprint prático e extensível para a comunidade de HRI, abordando a transição de sistemas de diálogo scriptados para interações corporais (embodied) inteligentes e de baixa latência.

• Sustentabilidade do Ecossistema Pepper: Com a incerteza sobre o suporte oficial ao Pepper após a liquidação da Aldebaran, este framework fornece uma solução moderna e viável para manter a pesquisa ativa na plataforma, utilizando seu ecossistema Android.
• Avanço para IA Embodied: Demonstra como integrar LLMs como agentes ativos que não apenas conversam, mas percebem e agem no mundo físico, estabelecendo uma base para futuras pesquisas em robótica social multimodal.
• Acesso Democratizado: Ao permitir o desenvolvimento em dispositivos Android comuns, o framework reduz a barreira de entrada para pesquisadores que não possuem acesso a plataformas robóticas caras.

O artigo conclui que, apesar de limitações como a falta de sincronia labial (lip-sync) no Pepper e a dependência de APIs em nuvem, esta abordagem representa um passo significativo rumo a interações humano-robô mais fluidas, naturais e agênticas.