💻 computer science

M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction

O artigo apresenta o M2HRI, um framework multimodal baseado em grandes modelos de linguagem que atribui personalidade e memória de longo prazo distintas a cada robô, demonstrando por meio de um estudo com usuários que essa individualidade combinada com coordenação estruturada melhora significativamente a qualidade e a coerência da interação humano-robô em ambientes sociais.

Autores originais: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

Publicado 2026-04-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você entra em uma sala e é recebido por dois robôs. Se eles forem idênticos, falarem da mesma forma e não lembrarem de nada do que você disse ontem, a experiência seria um pouco estranha, como conversar com dois espelhos. Eles seriam apenas máquinas repetindo o mesmo script.

O artigo "M2HRI" propõe uma solução para isso: criar robôs que têm personalidade própria e memória de longo prazo, e que sabem trabalhar em equipe sem se atrapalhar.

Aqui está a explicação do projeto usando analogias do dia a dia:

1. O Problema: A "Festa de Robôs Idênticos"

Até agora, quando usamos vários robôs juntos, eles agem como se fossem gêmeos siameses. Se um robô diz "Olá", o outro diz "Olá" ao mesmo tempo. Eles não têm história, não lembram se você gosta de chocolate ou se tem medo de aranhas, e não têm um "eu" próprio. Isso torna a interação fria e confusa.

2. A Solução: O "Time de Personagens" (M2HRI)

Os pesquisadores criaram um sistema chamado M2HRI. Pense nele como a direção de uma peça de teatro ou de um filme, onde cada robô é um ator com um roteiro único.

O sistema dá a cada robô três coisas importantes:

Personalidade (O "Caráter"):
Imagine que um robô é como um extrovertido animado que adora contar piadas e fazer gestos exagerados (como um "Extravertido" do Big Five). O outro robô é como um intelectual calmo e curioso, que faz perguntas profundas e é mais reservado.
- A mágica: O sistema usa uma Inteligência Artificial avançada (LLM) para garantir que, se você perguntar a mesma coisa para os dois, eles responderão de formas totalmente diferentes, condizentes com seus "personagens".
- Resultado: As pessoas conseguem facilmente dizer: "Ah, aquele é o robô divertido, e aquele é o robô sério."
Memória (O "Diário Pessoal"):
Sem memória, um robô é como um amigo que esquece seu nome a cada 5 minutos. Com o sistema M2HRI, os robôs têm um diário secreto.
- A mágica: Se você mencionou no início da conversa que seu nome é "Ana" e que gosta de gatos, o robô vai lembrar disso 10 minutos depois. Ele não apenas processa o que você diz agora, mas conecta com o que você disse antes.
- Resultado: A conversa parece muito mais natural e personalizada, como se o robô realmente se importasse com você.
Coordenação (O "Maestro"):
Este é o ponto mais crítico. Se dois robôs tentarem falar ao mesmo tempo, vira um caos (como duas pessoas gritando na mesma sala).
- A mágica: O sistema tem um "Maestro" (um coordenador central) que observa a situação. Ele decide: "Ok, o robô extrovertido é o melhor para responder a essa piada, e o robô sério deve ficar em silêncio e apenas acenar."
- Resultado: Eles não se interrompem. A conversa flui suavemente, como uma boa conversa entre amigos, onde cada um fala na hora certa.

3. O Que Eles Descobriram? (O Teste com 105 Pessoas)

Os pesquisadores fizeram um teste com 105 pessoas assistindo a vídeos de robôs interagindo. Os resultados foram claros:

Personalidade funciona: As pessoas conseguiram distinguir facilmente os robôs. Elas perceberam quem era o "animado" e quem era o "sério". Isso torna a interação mais envolvente.
Memória é essencial: Quando os robôs lembravam das preferências do usuário, as pessoas sentiam que a interação era muito mais "pessoal" e inteligente. Sem memória, a conversa parecia robótica e impessoal.
Coordenação salva o dia: Quando havia um "Maestro" organizando quem falava, a conversa era muito melhor. Sem coordenação, os robôs se cortavam, se sobrepunham e a conversa parecia bagunçada e irritante.

Resumo Final

O M2HRI nos ensina que, para ter robôs sociais que vivam conosco (em casas ou hospitais), não basta que eles sejam inteligentes. Eles precisam ter:

Identidade: Serem diferentes uns dos outros.
História: Lembrar de quem somos.
Boa Educação: Saber quando falar e quando ouvir, para não atrapalhar a conversa.

É como transformar uma sala cheia de falantes confusos em um grupo de amigos que se entendem perfeitamente, cada um com sua própria história e jeito de ser.

Resumo Técnico: M2HRI

1. Problema e Motivação

Os sistemas de interação humano-robô (HRI) evoluíram de cenários de agente único para ambientes multi-robô complexos (como lares e hospitais). No entanto, a literatura existente trata os robôs em sistemas multi-agente como funcionalmente idênticos, ignorando duas dimensões críticas:

Individualidade: A falta de personalidade distinta e memória de longo prazo faz com que os robôs sejam percebidos como máquinas idênticas em vez de agentes sociais distintos.
Coordenação: A ausência de mecanismos de coordenação que levem em conta essas individualidades leva a comportamentos descoordenados, sobreposição de falas e interações socialmente inadequadas.

O trabalho identifica uma lacuna na modelagem de como a individualidade do agente (personalidade e memória) e a coordenação estruturada afetam a percepção do usuário e a qualidade da interação em cenários multi-robô.

2. Metodologia: O Framework M2HRI

Os autores propõem o M2HRI, um framework multimodal multi-agente baseado em Grandes Modelos de Linguagem (LLMs) e Modelos Visão-Linguagem (VLMs). O sistema é projetado para equilibrar a individualidade de cada agente com um comportamento de grupo coerente.

Arquitetura do Agente:
Cada robô ( $a_i$ ) é modelado como uma composição de dois níveis:

Perfil de Identidade ( $\phi_i$ ): Define "quem" o agente é.
- Memória ( $M_i$ ): Dividida em memória de trabalho (contexto imediato), memória semântica (fatos sobre o usuário/ambiente) e memória episódica (histórico de interações e preferências).
- Personalidade ( $B_i$ ): Baseada no modelo Big Five (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo), representada como um vetor que influencia diretamente o raciocínio e a geração de linguagem do LLM.
- Capacidade de Ação ( $\Gamma_i$ ): Conjunto de primitivas executáveis (fala, gestos, locomoção).
Loop Cognitivo ( $\Lambda_i$ ): Define "como" o agente opera.
- Percepção: Usa VLMs para processar entrada multimodal (áudio e vídeo) e gerar uma observação semântica unificada.
- Planejamento: Um LLM gera políticas de interação baseadas na observação, contexto, memória recuperada e personalidade.
- Execução: Transforma a política planejada em comportamento corporal (gestos, fala).

Mecanismo de Coordenação Multi-Agente:
O sistema utiliza uma coordenação centralizada para gerenciar a interação entre múltiplos robôs:

Um coordenador (LLM) agrega as observações locais, o contexto da conversa e os perfis de personalidade de todos os agentes.
O coordenador calcula uma probabilidade de resposta ( $r_{i,t}$ ) para cada agente, determinando quem deve falar com base na adequação social e contextual.
Isso previne sobreposição de falas e garante que o robô mais apropriado (dada sua personalidade e memória) responda, mantendo a coerência do grupo.

Implementação:
O sistema foi implementado em dois robôs humanoides NAO, com processamento cognitivo offloaded para um servidor externo executando LLMs (GPT-4o-mini) e VLMs. O gerenciamento de memória utiliza bancos de dados vetoriais (ChromaDB) e o planejamento é feito via agentes AutoGen.

3. Estudo de Usuário e Avaliação

Os autores conduziram um estudo controlado com 105 participantes para responder a três perguntas de pesquisa (RQs):

RQ1: Como a personalidade afeta a distinguibilidade e o engajamento?
RQ2: Como a memória de longo prazo influencia a personalização?
RQ3: Como a coordenação afeta a qualidade da interação?

O estudo utilizou uma abordagem baseada em vídeo (observadores) com sete condições experimentais, variando personalidade (5 traços do Big Five), presença/ausência de memória e presença/ausência de coordenação centralizada.

4. Resultados Principais

Personalidade (RQ1):
- Distinguibilidade: Os participantes conseguiram distinguir claramente as personalidades dos robôs, especialmente nos traços de Abertura e Neuroticismo. O traço de Conscienciosidade foi menos saliente em interações curtas.
- Consistência: A personalidade foi percebida como consistente ao longo da interação.
- Reconhecimento: A precisão na identificação dos traços intencionais foi significativamente acima do acaso (até 93,3% para Extroversão e Abertura).
- Engajamento: Traços expressivos (Abertura, Neuroticismo) aumentaram significativamente o engajamento, enquanto traços mais contidos tiveram efeitos menores.
Memória (RQ2):
- A presença de memória de longo prazo melhorou drasticamente a precisão de recall e a consciência das preferências do usuário.
- A interação foi percebida como mais personalizada.
- A "naturalidade" também melhorou, mas em menor grau, sugerindo que a naturalidade conversacional depende de outros fatores além da memória (como o fluxo da fala).
Coordenação (RQ3):
- A coordenação centralizada teve um impacto crítico na evitação de sobreposição (overlap), com um tamanho de efeito muito grande.
- Melhorou significativamente o fluxo conversacional e a adequação da resposta (quem deve falar).
- Sem coordenação, os robôs tendiam a falar simultaneamente, violando normas de turn-taking e criando uma experiência caótica.

5. Contribuições e Significância

Contribuição Teórica: O trabalho demonstra que a individualidade (personalidade + memória) e a coordenação estruturada são complementares e necessárias para uma HRI multi-agente coerente. A individualidade permite a personalização e a distinção social, enquanto a coordenação garante a ordem e a adequação social do grupo.
Contribuição Técnica: Apresenta um framework unificado que integra VLMs para percepção, LLMs para raciocínio e personalidade, e um mecanismo de coordenação centralizada baseada em LLM para gerenciar a dinâmica multi-agente.
Significância: Os resultados indicam que para robôs sociais operarem em equipe, não basta que eles sejam inteligentes individualmente; eles devem ter identidades distintas e um mecanismo para gerenciar coletivamente quem interage com o usuário. Isso abre caminho para sistemas robóticos mais naturais, envolventes e socialmente apropriados em ambientes complexos.

Em suma, o M2HRI prova que modelar a individualidade dos agentes e orquestrar suas interações através de coordenação inteligente é fundamental para superar as limitações dos sistemas multi-robô atuais.