🤖 AI

Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration

Este artigo apresenta a primeira avaliação sistemática de aprendizado por reforço hierárquico intrinsecamente explicável na colaboração humano-agente utilizando o benchmark Overcooked-AI, revelando que, embora as explicações tenham mostrado tendências para uma melhoria mais rápida, as explicações entregues via áudio prejudicaram significativamente a aliança de trabalho humano-agente ao criar expectativas de parceria não atendidas.

Autores originais: Mateus Levi Simões Fernandes, Alberto Sardinha

Publicado 2026-08-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mateus Levi Simões Fernandes, Alberto Sardinha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está jogando um videogame de alta velocidade com um companheiro robô. Vocês dois precisam picar cebolas, cozinhar sopa e servi-la antes que o tempo acabe. No mundo real, quando dois humanos jogam juntos, eles conversam: "Eu pego o tomate, você pega a panela!" ou "Cuidado, estou passando!". Esse bate-papo ajuda a construir um entendimento compartilhado do que está acontecendo. Mas os robôs são frequentemente como máquinas silenciosas e misteriosas; eles se movem rápido e fazem coisas, mas não dizem o porquê. Isso cria uma lacuna. Se um robô quer ser um verdadeiro parceiro, e não apenas uma ferramenta, ele precisa explicar seus pensamentos. É aqui que entra a "Inteligência Artificial Explicável" (XAI). É a ciência de ensinar os robôs a dizer, "Estou fazendo isso porque...", para que os humanos possam confiar e trabalhar melhor com eles. Mas aqui está a parte complicada: se o robô falar demais, pode distrair você. Se ele falar da maneira errada, pode te irritar. A grande questão é: como fazemos um robô se explicar sem atrapalhar o jogo?

Este artigo mergulha exatamente nesse problema, estabelecendo um experimento de cozinha digital usando um jogo chamado Overcooked-AI. Os pesquisadores usaram um tipo especial de cérebro robótico chamado "Aprendizado por Reforço Hierárquico". Pense nisso como um robô que não pensa apenas em cada passo minúsculo (como "mover para a esquerda, mover para a direita"), mas pensa em blocos maiores, como "pegar uma cebola" ou "colocar a sopa em uma tigela". Como ele pensa nesses blocos maiores, ele pode naturalmente dizer o que planeja fazer a seguir. A equipe queria ver se deixar esse robô falar com seu jogador humano faria com que trabalhassem melhor juntos. Eles testaram duas formas de falar: o robô poderia digitar mensagens na tela (Texto) ou falá-las em voz alta (Áudio).

Os resultados foram uma mistura de surpresas e lições. Primeiro, as explicações do robô não fizeram a equipe marcar mais pontos imediatamente. Na verdade, os jogadores humanos que não receberam nenhuma explicação na verdade pontuaram um pouco mais em média, embora a diferença não tenha sido enorme. Isso sugere que, para pessoas que já são boas em jogos, atualizações constantes podem ser apenas uma distração. No entanto, houve um lado positivo: os jogadores que receberam explicações pareceram aprender a trabalhar com o robô mais rápido. Eles melhoraram suas pontuações mais rapidamente ao longo do tempo, como se o falatório do robô os ajudasse a entender o estilo do robô mais cedo.

Mas a descoberta mais interessante aconteceu com a maneira como o robô falava. Quando o robô falava em voz alta (Áudio), algo estranho aconteceu. Embora os jogadores aprendessem mais rápido, eles sentiam uma conexão muito mais fraca com o robô. Eles não se sentiam no mesmo time. É como se a voz do robô fizesse as pessoas esperarem uma conversa real e uma promessa do que aconteceria a seguir. Mas como o robô estava apenas reagindo ao momento (como um reflexo), ele frequentemente mudava de ideia instantaneamente após falar. Quando o robbô dizia, "Vou para a panela", mas depois corria imediatamente para o balcão, o humano se sentia traído. A voz falada fazia o robô parecer um parceiro que deveria manter sua palavra, mas o cérebro do robô era reativo demais para realmente cumprir essa promessa.

Em contraste, quando o robô apenas digitava mensagens na tela, os jogadores não se sentiam traídos. Eles podiam ignorar o texto se quisessem, então o robô não parecia um parceiro "falso". O estudo sugere que, embora falar em voz alta chame a atenção e ajude as pessoas a aprender mais rápido, isso também gera expectativas que um robô simples e reativo pode não conseguir atender. Os pesquisadores concluem que, se quisermos que os robôs falem conosco, precisamos garantir que eles sejam realmente bons em cumprir as promessas que suas vozes implicam, caso contrário, a parceria pode parecer quebrada.

Resumo Técnico: Avaliando o Suporte de XAI a partir de uma Política de Aprendizado por Reforço Hierárquico em Colaboração Humano-Agente

Declaração do Problema

A transição dos sistemas de IA de ferramentas para parceiros colaborativos exige que eles sejam não apenas eficazes, mas também compreensíveis para companheiros humanos. Embora a IA Explicável (XAI) ofereça soluções potenciais, a avaliação sistemática em contextos colaborativos permanece limitada. Pesquisas existentes frequentemente dependem de políticas criadas manualmente em ambientes customizados (ex: Minecraft), o que limita a generalização dos achados para a pesquisa de ponta em formação de equipes que utiliza benchmarks estabelecidos como o Overcooked-AI. Além verdade, a literatura atual carece de uma avaliação sistemática do suporte de XAI gerado a partir de políticas aprendidas, intrinsecamente explicáveis (em oposição a explicações post-hoc ou regras manuais) dentro desses benchmarks de alto desempenho. Há também uma lacuna na compreensão de como a modalidade da explicação (texto vs. áudio) afeta a colaboração em tarefas visualmente exigentes e de ritmo acelerado.

Metodologia

Os autores conduziram um experimento entre sujeitos ( $n=38$ ) no ambiente de benchmark Overcooked-AI, especificamente utilizando o layout Counter-Circuit.

Arquitetura do Agente: O estudo utilizou a arquitetura Hierarchical Ad Hoc Agents (HA2). Este sistema emprega uma estrutura de Gerente-Trabalhador onde uma política de Gerente de alto nível ( $\pi_H$ ) seleciona subtarefas semanticamente significativas (ex: "pegar cebola", "colocar cebola na panela") de um conjunto predefinido de 12 objetivos específicos do domínio. Uma política de Trabalhador de baixo nível ( $\pi_W$ ) execlu de então ações primitivas para completar a subtarefa selecionada. Esta hierarquia proporciona explicabilidade intrínseca, pois as decisões de alto nível são interpretáveis por humanos.
Geração de Explicação: Explicações em tempo real foram geradas diretamente das seleções de subtarefas do Gerente. Para evitar a sobrecarga de informações, um novo sistema baseado em gatilhos foi implementado para entregar explicações apenas em momentos relevantes para a coordenação. Os gatilhos incluíram:
- Bloqueio (Blocking): Quando o humano obstrui o caminho do agente.
- Caminho Crítico (Critical Path): Quando o agente seleciona subtarefas essenciais para o progresso da tarefa.
- Limiar de Distância (Distance Threshold): Atualizações periódicas durante movimentos estendidos.
- Mudança de Subtarefa (Subtask Change): Anúncios quando o Gerente altera os objetivos.
Condições Experimentais: Os participantes foram designados aleatoriamente para uma de três condições:
1. Controle: Sem explicações.
2. Texto: Explicações exibidas em uma barra semi-transparente na parte inferior da tela.
3. Áudio: Conteúdo idêntico entregue via conversão de texto em fala nativa do navegador.
Procedimento: Os participantes completaram quatro sessões de jogabilidade de 80 segundos. As métricas incluíram pontuações de jogo, taxas de aprendizado (inclinações lineares ao longo das sessões), avaliações de carga de trabalho NASA-TLX e avaliações subjetivas usando o Questionário Godspeed e uma versão modificada da Avaliação de Fluência Humano-Robô. A amostra consistiu em adultos experientes em jogos (pontuação média de familiaridade 8.1/10).

Principais Contribuições

Primeira Avaliação Sistemática em Benchmark: Este trabalho fornece a primeira avaliação sistemática do suporte de XAI gerado a partir de políticas aprendidas de última geração (HA2) dentro de um benchmark estabelecido de colaboração humano-agente (Overcooked-AI), demonstrando que arquiteturas de aprendizado por reforço intrinsecamente explicáveis podem gerar explicações autênticas em tempo real sem comprometer o desempenho.
Comparação de Modalidade: Apresenta a primeira comparação de modalidades de explicação (texto vs. áudio) em uma tarefa colaborativa humano-agente em tempo real, isolando os efeitos do modo de entrega no desempenho e na experiência subjetiva.
Metodologia de Linha de Base: Os autores estabelecem um sistema de entrega baseado em gatilhos como linha de base para explicações de políticas hierárquicas, oferecendo uma metodologia para avaliar arquiteturas de RL intrinsecamente explicáveis em ambientes de benchmark.

Resultados

Desempenho (H1): Não houve diferença significativa nas pontuações imediatas de jogo entre a condição de Controle e as condições de explicação combinadas ( $p=0.136$ ). No entanto, uma tendência sugeriu que os participantes que receberam explicações (particularmente áudio) mostraram taxas de aprendizado mais rápidas (melhoria ao longo das sessões) em comparação com o grupo de Controle ( $d=0.59$ ), embora isso não tenha atingido significância estatística ( $p=0.087$ ).
Carga Cognitiva (H2): Não foram encontradas diferenças significativas na carga de trabalho cognitiva (NASA-TLX) entre as modalidades de texto e áudio.
Experiência Subjetiva (H3): Um achado significativo e robusto surgiu em relação ao Vínculo de Aliança de Trabalho (Working-Alliance Bond). Os participantes na condição de Áudio avaliaram seu vínculo com o agente significativamente abaixo dos das condições de Texto ou Controle ( $p=0.003$ $p = 0.003$ ). As explicações em Texto não impactaram negativamente o vínculo em comparação com o Controle.
- Antropomorfismo: Uma tendência indicou que os participantes de áudio avaliaram o agente como menos antropomórfico, embora isso não tenha sobrevivido à correção de Bonferroni.
- Mecanismo: Os autores interpretam a redução do vínculo na condição de áudio como um gap de "promessa versus realidade". As explicações faladas emolduram o agente como um parceiro comunicativo que faz compromissos, mas a política reativa e livre de modelo subjacente não consegue sustentar esses compromissos (ex: pode mudar de subtarefa instantaneamente após falar). Esse gap é menos perceptível no texto (que pode ser ignorado) ou no silêncio.

Significância e Alegações

O artigo afirma avançar na compreensão de quando e como a XAI opera em ambientes colaborativos de ritmo acelerado. O insight primário é que combinar a modalidade de explicação com a capacidade da política subjacente é crucial.

Desajuste Arquitetônico: O estudo sugere que as explicações faladas ativam expectativas de parceria que as políticas reativas e livres de modelo não conseguem atender, levando a uma ruptura na aliança de trabalho. O "custo do vínculo" não é uma crítica à entrega de áudio em si, mas às políticas que carecem do horizonte de planejamento ou das capacidades de modelagem humana para sustentar as intenções verbalizadas.
Adaptação vs. Execução: Os resultados sugerem que o suporte de XAI pode melhorar a adaptação humana aos padrões de comportamento do agente (acelerando o aprendizado) em vez da execução imediata da tarefa, particularmente para usuários especialistas que já possuem estratégias de coordenação eficientes.
Direção Futura: Os autores argumentam que o caminho para uma XAI colaborativa eficaz é arquitetônico. Para sustentar a parceria implicada pelas explicações faladas, os sistemas futuros devem incorporar horizontes de compromisso mais longos (planos vinculativos) e modelos explícitos de companheiros humanos para permitir comunicação bidirecional baseada em teoria da mente, em vez de meramente narrar saídas reativas.

O artigo conclui que, embora o RL hierárquico ofereça uma base promissora para uma IA intrinsecamente explicável, a eficácia da XAI é limitada pela capacidade da política de alinhar seu comportamento real com as expectativas relacionais que seu método de entrega (especialmente a fala) cria.