Vision-Language System using Open-Source LLMs for Gestures in Medical Interpreter Robots

Este artigo apresenta um sistema de visão e linguagem baseado em modelos de linguagem abertos e localmente implantados para robôs intérpretes médicos, que detecta atos de fala em conversas clínicas e gera gestos robóticos apropriados, alcançando alta precisão e superioridade em humanização em comparação com métodos anteriores.

O essencial

Imagine um robô médico que não apenas traduz o que você diz, mas também entende o que você quer dizer com o seu corpo. É como ter um intérprete que, além de falar a sua língua, sabe quando você está dizendo "sim" com um aceno de cabeça ou quando precisa apontar para algo para explicar uma dor.

Este artigo descreve exatamente isso: um sistema inteligente para robôs (especificamente o robô "Pepper") que ajuda em hospitais, garantindo que a comunicação seja clara, segura e privada.

Aqui está a explicação, dividida em partes simples:

1. O Problema: A Barreira do Silêncio

Em hospitais, quando o médico e o paciente falam idiomas diferentes, tudo depende de um tradutor. Mas e se o paciente estiver com dor e usar gestos para explicar? Ou se o médico precisar garantir que o paciente entendeu e concordou com um tratamento (consentimento)?

• A analogia: Imagine tentar explicar como montar um móvel apenas por telefone, sem poder mostrar as peças. É difícil! Gestos são essenciais para preencher essas lacunas. Até hoje, os tradutores robóticos só falavam, ignorando os gestos.

2. A Solução: O "Cérebro" Local e Privado

Os autores criaram um sistema que funciona como um detetive de gestos.

• Como funciona: O robô ouve o que é dito e vê o vídeo da pessoa.
• O "Cérebro": Eles usaram uma Inteligência Artificial (um Modelo de Linguagem Grande ou LLM) que é leve o suficiente para rodar diretamente no computador do robô, sem precisar enviar dados para a nuvem (internet).
• Por que isso é importante? É como ter um guarda-costas que lê seus pensamentos dentro da sua casa, em vez de enviar seus pensamentos para um escritório central. Isso protege a privacidade dos pacientes, algo crucial em medicina.

3. O Grande Truque: O "Dicionário" de Gestos Médicos

Para ensinar o robô, os autores precisavam de um livro de regras, mas não havia um. Então, eles criaram um novo conjunto de dados (um "dicionário" gigante).

• Eles pegaram vídeos reais de médicos conversando com pacientes.
• Usaram uma IA para transcrever o áudio e, em seguida, pediram para outra IA classificar cada frase: "Isso é um pedido de consentimento?", "Isso é uma instrução?" ou "Isso é apenas conversa?".
• Um humano revisou tudo para garantir que a IA não estava alucinando. O resultado foi um banco de dados com milhares de frases e seus gestos correspondentes.

4. O Robô "Espelho" vs. O Robô "Criativo"

O sistema tem duas formas de fazer o robô se mover:

1. Modo Espelho (Human-Mimic): Se o robô detecta que o médico ou o paciente está dando uma instrução importante ou pedindo consentimento, ele imita o gesto da pessoa em tempo real.
   • Analogia: É como se o robô fosse um dançarino que espelha os movimentos do parceiro. Se o médico aponta para o ombro, o robô aponta para o ombro dele.
2. Modo Criativo (Speech-Gesture Generation): Se for apenas uma conversa normal, o robô gera gestos automáticos que combinam com a fala, para parecer natural.

5. Os Resultados: Mais Humano e Mais Rápido

Eles testaram o sistema com pessoas reais e compararam com outras tecnologias existentes.

• Humanidade: As pessoas acharam que os gestos do robô (quando imitando) eram mais humanos e naturais do que os gerados por outros sistemas.
• Segurança e Velocidade: Como o sistema roda no próprio robô (localmente), ele é muito rápido e não gasta muita energia, ao contrário de sistemas que precisam de computadores gigantes na nuvem.
• Precisão: O sistema acertou 90% das vezes em identificar se uma frase era um pedido de consentimento ou uma instrução médica.

Resumo Final

Pense neste trabalho como a criação de um intérprete robótico que tem "olhos e alma". Ele não apenas traduz palavras, mas entende a intenção por trás delas, imita gestos importantes para evitar erros médicos e, o mais importante, faz tudo isso dentro do próprio robô, garantindo que os segredos do paciente nunca saiam da sala de consulta. É um passo gigante para tornar a medicina mais humana, mesmo quando a tecnologia está no meio.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Resumo Técnico: Sistema Visão-Linguagem para Gestos de Consentimento e Instrução em Robôs Intérpretes Médicos

1. O Problema
A comunicação eficaz na saúde é crítica, especialmente quando existem barreiras linguísticas entre profissionais e pacientes. Gestos não verbais desempenham um papel fundamental, servindo para validar o consentimento e transmitir instruções médicas complexas de forma concreta. No entanto, os sistemas atuais de interpretação médica (como vídeo-chamadas ou softwares de tradução) falham em capturar e reproduzir esses sinais não verbais. Além disso, existem lacunas significativas no uso de robôs para este fim:

• Escassez de Dados: Falta de conjuntos de dados específicos do domínio médico com anotações de gestos.
• Limitações de Geração: Técnicas existentes focam em conversas gerais, não capturando a precisão necessária para instruções médicas ou variabilidades culturais.
• Restrições Computacionais: Plataformas robóticas têm recursos limitados, dificultando a execução em tempo real de modelos complexos, além de preocupações com privacidade de dados em ambientes clínicos.

2. Metodologia
Os autores propõem um framework de visão-linguagem que opera localmente (on-device) para garantir privacidade e eficiência. O sistema é composto por três módulos principais:

• A. Detecção de Frases de Gestos (GSD):

  • Utiliza um Modelo de Linguagem Grande (LLM) leve e de código aberto, implantado localmente.
  • O objetivo é classificar cada fala do usuário em três categorias: Consentimento, Instrução ou Nenhum (Neither).
  • Emprega uma estratégia de few-shot prompting (11 exemplos) para guiar o modelo.
  • O modelo selecionado para a tarefa foi o qwen3:8b, devido ao seu equilíbrio entre precisão e uso de memória.

• B. Geração de Gestos (Duas Rotas):

  • Rota de Imitação Humana (Human-Mimic): Se a fala for classificada como "Consentimento" ou "Instrução", o sistema extrai a pose do usuário do vídeo em tempo real usando o MediaPipe Pose Landmarker. As coordenadas dos pontos-chave são mapeadas para os 12 graus de liberdade (ângulos das juntas) do robô Pepper, permitindo que o robô imite o gesto humano específico.
  • Rota de Geração de Fala-Gesto: Se a fala for classificada como "Nenhum", o sistema utiliza o modelo Semantic Gesticulator (SG) para gerar gestos co-verbais semânticos a partir do áudio, que são então adaptados para a cinemática do robô Pepper.

• C. Privacidade e Infraestrutura:

  • Todos os modelos são de código aberto e executados localmente em hardware de borda (GPU NVIDIA RTX 4090 no teste, mas otimizado para dispositivos menores), garantindo que nenhum dado de saúde saia do dispositivo.

3. Principais Contribuições

• Novo Conjunto de Dados Clínicos: Criação de um dataset com 3.736 frases extraídas de vídeos de treinamento clínico, anotadas em nível de sentença com categorias de gestos (Consentimento, Instrução, Nenhum) e pares de clipes de vídeo.
• Detector de Frases Otimizado: Proposta de um detector leve baseado em LLM para execução local, garantindo velocidade e segurança de dados.
• Pipeline de Mapeamento Cinemático: Um fluxo de trabalho que traduz a cinemática da pose humana (vídeo) diretamente em comandos de motor para o robô Pepper, permitindo gestos humanos realistas.
• Framework Integrado: Implementação e avaliação completa no robô Pepper, demonstrando a viabilidade de interação humano-robô natural e segura em saúde.

4. Resultados

• Desempenho de Classificação (GSD):
  • O modelo qwen3:8b alcançou 0,90 de precisão, 0,93 de precisão ponderada e 0,91 de F1-Score ponderado.
  • Comparado a outros modelos (como Llama 3.1 e Mistral), o qwen3:8b ofereceu a melhor relação entre confiabilidade e uso de memória (7,2 GB).
• Avaliação de Usuário (Estudo com 26 participantes):
  • Humanidade (Human-likeness): A abordagem de imitação humana ("Ours") superou significativamente a base de geração de fala-gesto (Semantic Gesticulator), com uma pontuação média de 5,78 vs. 5,24 (p=0,019).
  • Adequação (Appropriateness): A adequação do gesto à fala foi comparável entre os dois métodos (5,20 vs. 4,76), sem diferença estatisticamente significativa, indicando que a imitação não comprometeu a relevância do gesto.
  • Eficiência Computacional: A abordagem proposta consumiu apenas 3 MB de RAM na GPU para a fase de detecção, enquanto a base de comparação consumiu 2260 MB, demonstrando uma vantagem massiva em eficiência para implantação em robôs.

5. Significância
Este trabalho avança o estado da arte na interação humano-robô (HRI) na área da saúde ao resolver o dilema entre a necessidade de modelos complexos para gestos naturais e as restrições de privacidade e hardware dos ambientes clínicos. Ao demonstrar que é possível utilizar LLMs leves localmente para detectar intenções críticas (consentimento/instrução) e acionar gestos imitativos precisos, o sistema oferece uma solução escalável para melhorar a adesão ao tratamento e reduzir riscos de segurança causados por mal-entendidos linguísticos. A liberação do dataset clínico anotado também é um recurso valioso para futuras pesquisas em robótica médica.