Resumo Técnico: Quando Robôs Avaliam Suas Próprias Interações

Declaração do Problema

A avaliação da Interação Humano-Robô (HRI) é atualmente unidirecional: humanos avaliam robôs usando instrumentos padronizados (ex: Godspeed, RoSAS, HRI-CUES), enquanto a perspectiva do robô permanece inexplorada. À medida que os robôs sociais dependem cada vez mais de Modelos de Linguagem de Grande Escala (LLMs) para capacidades conversacionais, existe uma lacuna crítica em entender se esses modelos podem avaliar validamente as interações a partir da própria perspectiva do robô. Embora pesquisas adjacentes sugiram que os LLMs podem atuar como substitutos (proxies) para participantes humanos em estudos comportamentais, eles frequentemente exibem um viés de positividade e têm dificuldade com a predição ao nível individual. Além disso, nenhum trabalho anterior examinou o LLM como um participante dentro da interação (o paradigma da "avaliação invertida") em vez de um observador externo. O problema central é determinar se robôs movidos por LLM podem gerar autoavaliações válidas da qualidade da interação, especificamente em relação a construtos como engajamento versus estados afetivos internos como "estranheza" ou desconforto.

Metodologia

Os autores conduziram dois estudos para investigar três questões de pesquisa: (1) Os ratings gerados por LLM convergem com a verdade fundamental (ground truth) humana? (2) Em quais construtos os LLMs têm sucesso ou falham? (3) Como este paradigma performa em interações incorporadas e ao vivo?

Estudo 1: Análise Retrospectiva

• Dataset: O dataset HRI-CUES, composto por transcrições de 25 idosos conversando com um robô Furhat (movido pelo ChatGPT 3.5). As transcrições foram traduzidas do sueco para o inglês.
• Modelos: Cinco LLMs foram avaliados: GPT-3.5, GPT-4o-mini, GPT-4o, Claude Sonnet 4.5 e Claude Haiku 4.5.
• Procedimento: Os LLMs foram instruídos com uma persona de robô, a transcrição da interação e itens de questionário "invertidos" (ex: "Eu gostei de conversar com o robô" tornou-se "O humano pareceu gostar de conversar comigo").
• Instrumentos: HRI-CUES (Satisfação, Prazer, Interesse, Conforto/Estranheza), Questionário Godspeed e RoSAS.
• Controles: O estudo incluiu controles de robustez, como randomização de itens, variações de persona, amostragem de temperatura e geração de conversas sintéticas para descartar artefatos de prompt ou confundimentos de extensão.
• Extensão Multimodal: A Fase 3 testou o efeito da adição de rótulos de afeto e imagens faciais sintéticas à entrada de texto para o modelo Claude Sonnet.

Estudo 2: Piloto Incorporado ao Vivo

• Configuração: Um robô humanoide Nao ("Noah") executando Claude Sonnet 4.5 engajou-se em conversas de domínio aberto com quatro membros do laboratório.
• Avaliação em Tempo Real: O robô capturou imagens faciais e transcreveu a fala em cada turno, enviando ambos para a API para gerar uma resposta conversacional e ratings imediatos de HRI-CUES.
• Comparação: Os participantes forneceram ratings independentes durante e após a interação, permitindo uma comparação da divergência turno a turno entre os ratings humanos e do robô.

Principais Resultados

1. Confiabilidade e Validade de Engajamento

Os LLMs demonstraram alta consistência interna e confiabilidade.

• Confiabilidade: A confiabilidade teste-reteste (ICC) foi excelente entre os modelos (Claude $\geq$ .99; GPT-4o/4o-mini .94–.95; GPT-3.5 .82).
• Dimensões de Engajamento: Os LLMs alcançaram concordância moderada a forte com a verdade fundamental humana em construtos de engajamento. As correlações para Prazer variaram de $r = .46$ a $.72$, e para Satisfação de $r = .18$ a $.65$. Modelos de maior capacidade geralmente mostraram maior validade.
• Viés de Positividade: Foi observado um viés de positividade geral, com os LLMs avaliando satisfação, interesse e conforto acima dos autorrelatos humanos, embora o Prazer tenha sido o único dimensão avaliada abaixo da verdade fundamental.

2. A "Falha da Estranheza"

O achado mais significativo foi uma falha sistemática na dimensão Conforto/Estranheza.

• Correlação Invertida: Em todos os cinco modelos, os ratings dos LLM para conforto (estranheza codificada inversamente) mostraram correlações negativas significativas com a verdade fundamental humana ($r = -0.44$ a $-0.67$).
• Mecanismo: Os autores argumentam que os LLMs confundem "engajamento" com "conforto". Quando os participantes expressavam curiosidade, sondagens filosóficas ou surpresa sobre a natureza do robô, o LLM interpretava esses sinais como engajamento positivo em vez de indicadores de estranheza ou desconforto.
• Persistência: Esta falha persistiu através de:
  • Diferentes arquiteturas de modelos (OpenAI vs. Anthropic).
  • Controles sintéticos (onde o sentimento foi explicitamente rotulado, o item "estranheza" ainda era sistematicamente invertido).
  • Implementação incorporada ao vivo (Estudo 2), onde o robô classificou conversas filosóficas como altamente confortáveis, enquanto humanos as classificaram como altamente estranhas.

3. Generalização de Escala e Multimodalidade

• Compatibilidade de Escala: Os LLMs processaram e completaram com sucesso as escalas Godspeed e RoSAS com alta consistência.
• Entrada Multimodal: A adição de rótulos de afeto ou imagens faciais sintéticas produziu mudanças específicas ao modelo (ex: GPT-4o tratou rótulos de afeto como evidência de engajamento; Claude os tratou como redução de ambiguidade), mas não resolveu a falha da estranheza. O hiato de validade para o desconforto permaneceu.
• Interação ao Vivo: No Estudo 2, o robô conseguiu rastrear o desengajamento comportamental (ex: quando um participante afirmou explicitamente que não queria conversar), mas falhou em detectar a "estranheza" de discussões filosóficas profundas, interpretando-as erroneamente como uma interação de alta qualidade.

Principais Contribuições

1. Framework de Avaliação Invertida: O artigo estabelece uma metodologia para fazer com que robôs movidos por LLM completem questionários HRI padronizados a partir de sua própria perspectiva, indo além do paradigma tradicional focado apenas no humano.
2. Condições de Contorno para Percepção Social de LLM: O estudo define limites claros para a utilidade dos LLMs em HRI. Embora os LLMs sejam válidos para avaliar dimensões de engajamento comportamental (prazer, satisfação), eles são inválidos para avaliar estados afetivos internos como estranheza ou desconforto que não são explicitamente verbalizados.
3. Evidência Empírica da "Falha da Estranheza": O artigo fornece evidência robusta (através de 1.522 avaliações, cinco modelos e implementação ao vivo) de que os LLMs sistematicamente invertem a dimensão conforto/estranheza, confundindo curiosidade e novidade com conforto.
4. Distinção entre Enquadramento de Observador e Participante: Os autores demonstram que, embora os LLMs possam performar bem como observadores externos de cenários de HRI, seu desempenho degrada quando atuam como participantes, sacrificando parte da concordância pela capacidade de avaliação in situ e bilateral.

Significância e Alegações

O artigo alega que a autoavaliação baseada em LLM sozinha é insuficiente para uma avaliação abrangente de HRI. A "falha da estranheza" indica que os LLMs atuais carecem de acesso aos estados afetivos internos necessários para avaliar construtos que dependem da experiência subjetiva do humano em relação à presença física ou natureza do robô.

Os autores argumentam que, para que os robôs possam se adaptar socialmente de forma eficaz (em diálogo, navegação ou cuidados), eles não podem depender apenas da inferência de LLM. Em vez disso, modalidades de sensoriamento suplementares — como sinais fisiológicos (ex: frequência cardíaca), rastreamento de olhar ou proxêmica — são necessárias para capturar estados internos que os participantes não expressam verbalmente. O paradigma da avaliação invertida é apresentado como um complemento viável para construtos relacionados ao engajamento, mas deve ser aumentado com dados não verbais para abordar o ponto cego referente ao desconforto e à estranheza.