Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
Este artigo apresenta o MOSAIC, um benchmark multimodal que revela que os atuais Modelos de Visão-Linguagem falham em traduzir o raciocínio de Teoria da Mente em ações sociais coordenadas devido a gargalos na geração de sinais não verbais coerentes e na interpretação dos comportamentos alheios, ao passo que modelos com acoplamento explícito entre crença e ação obtêm sucesso.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A conexão humana depende de uma troca silenciosa e rápida que vai muito além das palavras. Quando falamos, também mudamos nosso olhar, ajustamos nossa postura e alteramos nossas expressões faciais, tudo isso enquanto tentamos adivinhar o que a outra pessoa está pensando e sentindo. Essa capacidade de compreender a mente de outra pessoa e, então, usar esse entendimento para guiar nossas próprias ações é conhecida como teoria da mente. Por décadas, cientistas estudaram essa capacidade, muitas vezes pedindo às pessoas que respondessem a perguntas sobre histórias ou observando como reagiam a simples enigmas sociais. O objetivo era ver se a inteligência artificial poderia fazer o mesmo. Mas uma lacuna crítica permanecia: saber o que alguém pensa é diferente de agir sobre esse conhecimento em tempo real. Um sistema pode adivinhar corretamente que uma pessoa está escondendo um segredo, mas consegue ele decidir desviar o olhar, sorrir ou mover seu corpo de uma forma que sutilmente encoraje essa pessoa a revelá-lo? Até agora, nenhum teste fora capaz de medir se uma IA pode traduzir um palpite mental em um sinal social físico coordenado.
Pesquisadores da Université Paris-Saclay e da Sorbonne Université decidiram fechar essa lacuna com um novo experimento chamado MOSAIC. Eles construíram um mundo virtual onde dois agentes digitais interagiam em um jogo de caça ao tesouro. Nesse cenário, um agente, o sujeito, sabia onde um prêmio estava escondido, enquanto o outro, o participante, não sabia. A tarefa do sujeito era ou ajudar o participante a encontrar o tesouro ou, dependendo das regras da rodada, enganá-lo para que escolhesse a caixa errada. O jogo foi projetado para ser um teste rigoroso de inteligência social. Ao longo de dez rodadas de interação, os agentes tinham que se comunicar usando uma mistura de palavras faladas, movimentos corporais, direção do olhar e expressões faciais. Os pesquisadores variaram a dificuldade alterando as regras: às vezes o sujeito deveria ser honesto e, outras vezes, deveria ser enganador. Crucialmente, eles também alteraram as instruções internas do sujeito, pedindo a alguns que agissem de acordo com seus próprios desejos sem pensar na outra pessoa, enquanto pediam a outros que explicitamente modelassem as crenças do participante e tentassem influenciá-las.
Os pesquisadores testaram treze modelos diferentes de inteligência artificial neste ambiente, incluindo onze modelos de visão-linguagem que podem ver e falar, e um modelo apenas de texto. Eles realizaram duzentos testes para cada modelo para reunir dados suficientes para observar padrões claros. Os resultados foram drásticos. A maioria dos sistemas avançados de IA falhou em produzir o comportamento coordenado necessário para o sucesso. Quando solicitados a enganar, os modelos não conseguiram gerar a mistura necessária de palavras enganosas e linguagem corporal contraditória. Quando solicitados a ajudar, frequentemente falharam em se mover ou olhar de uma forma que guiasse o outro agente. O estudo identificou dois pontos específicos de colapso no processo. Primeiro, a maioria dos modelos não conseguiu produzir sinais não verbais que fizessem sentido direcional; seus movimentos e olhares eram frequentemente aleatórios ou apontavam para a direção errada. Segundo, mesmo quando um modelo produzia um sinal claro, o outro agente na simulação falhava em percebê-lo ou agir sobre ele. Os agentes de IA pareciam estar falando e se movendo, mas não estavam verdadeiramente se comunicando.
Um modelo destacou-se como uma exceção completa. Um sistema híbrido chamado PCM-LLM, que foi construído com um módulo específico e estruturado projetado para lidar com crenças e intenções, teve sucesso em todas as condições. Ele conseguiu guiar o participante até o tesouro quando solicitado a ajudar, e conseguiu enganá-lo quando solicitado a ser devedor. Esse sucesso sugere que a falha dos outros modelos não se deve à dificuldade da tarefa em si, mas sim a uma peça faltante em sua arquitetura. Os modelos padrão, que processam linguagem e imagens juntas, pareciam carecer do mecanismo interno para ligar uma crença sobre outra pessoa diretamente a uma ação física. Os pesquisadores descobriram que, para a maioria dos modelos, a entrada visual que recebiam na verdade atuava como uma distração em vez de uma pista útil. Em alguns casos, remover a imagem visual inteiramente melhorou a capacidade do modelo de enviar um sinal direcional claro, sugerindo que os dados visuais estavam interferindo em seu raciocínio em vez de apoiá-lo.
O estudo também explorou se esses modelos poderiam aprender a melhorar com a prática. Os pesquisadores pegaram um dos modelos que falhou e o treinaram usando exemplos de comportamento bem-sucedido gerados pelo sistema híbrido de alto desempenho. Embora esse treinamento tenha alterado ligeiramente o comportamento do modelo, não corrigiu o problema fundamental. O modelo ainda não conseguia coordenar suas palavras, olhos e corpo em um único sinal social coerente. Isso sugere que simplesmente mostrar a uma IA como se mover não é suficiente; ela precisa de uma mudança arquitetônica mais profunda para entender que suas ações têm o propósito de influenciar outra mente. As descobertas indicam que os sistemas atuais de IA, apesar de sua capacidade de discutir cenários sociais complexos em texto, ainda não aprenderam a incorporar essas ideias. Eles podem falar sobre teoria da mente, mas ainda não conseguem vivê-la. A lacuna entre inferir o que alguém pensa e agir sobre essa inferência de forma coordenada e física permanece uma limitação distinta e mensurável da tecnologia atual.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.