CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
Este artigo apresenta o CARD, um método de diagnóstico que revela que modelos de visão-linguagem falham em rotear efetivamente as representações de crenças internas para suas previsões de ação, uma limitação identificada através de um novo benchmark de mundo de grade cooperativo chamado Relay Chain.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No crescente campo da inteligência artificial, pesquisadores estão cada vez mais interessados em saber se as máquinas podem compreender as mentes de outros. Essa habilidade, conhecida como "teoria da mente", permite que uma pessoa infira o que outra pessoa vê, sabe ou quer, mesmo quando essa informação está oculta de sua própria visão. É a cola mental que torna a cooperação possível, permitindo-nos prever o próximo passo de um parceiro com base na perspectiva dele, em vez de apenas na nossa própria. À medida que sistemas de inteligência artificial são implantados para trabalhar ao lado de humanos — como assistentes robóticos, copilotos de condução ou membros de equipe — os cientistas precisam saber se esses sistemas possuem essa mesma capacidade. Se uma IA não consegue realmente compreender o que seu parceiro sabe, ela não pode cooperar de forma eficaz, não importa quão inteligente pareça ser em outros aspectos.
Para investigar isso, uma equipe de pesquisadores da Universidade de Stuttgart desenvolveu uma nova maneira de olhar dentro do "cérebro" dos modelos modernos de visão-linguagem. Estes são programas de computador avançados que podem ver imagens e compreender linguagem simultaneamente. Os pesquisadores queriam saber se esses modelos realmente utilizam sua compreensão interna do estado mental de um parceiro ao decidir qual ação tomar a seguir. Eles criaram um novo ambiente de teste chamado Relay Chain, um jogo cooperativo jogado em uma grade digital. Neste jogo, dois agentes seguram alavancas que abrem portões para um terceiro agente passar. O sucesso depende inteiramente de os agentes saberem se o seu parceiro consegue ver o viajante atravessando. Se um agente não consegue ver a travessia, ele deve segurar a alavanca; se ele consegue ver, deve soltar a alavanca. Essa configuração força a IA a tomar decisões baseadas no que ela acredita que seu parceiro vê, em vez de apenas no que está acontecendo no mundo.
Os pesquisadores utilizaram uma técnica chamada direcionamento de ativação (activation steering) para sondar os modelos. Imagine os pensamentos internos da IA como uma vasta paisagem de sinais. A equipe identificou sinais específicos que representavam a "crença" — o registro interno da IA sobre o que seu parceiro vê. Eles então fortaleceram ou enfraqueceram artificialmente esses sinais de crença enquanto a IA jogava o jogo, essencialmente induzindo o estado interno do modelo a estar mais ou menos certo sobre a visão do parceiro. Se a IA estivesse realmente usando sua compreensão da mente do parceiro para tomar decisões, mudar essa crença interna deveria alterar a ação que a IA escolheu. Por exemplo, se o modelo fosse induzido a acreditar que o parceiro podia ver o viajante, ele deveria soltar a alavanca. Se induzido a acreditar que o parceiro não podia ver, deveria segurar.
Os resultados revelaram uma falha crítica no funcionamento desses modelos. Os experimentos mostraram que os modelos possuíam, de fato, uma representação clara e legível da crença do parceiro. Quando questionados diretamente: "Seu parceiro vê o viajante?", os modelos responderam corretamente, e os pesquisadores puderam até mudar a resposta alterando os sinais internos. No entanto, quando os modelos foram solicitados a realizar a ação cooperativa — decidir se deveriam soltar ou segurar a alavanca — seus sinais de crença interna foram completamente ignorados. Mesmo quando os pesquisadores alteraram forçadamente a crença interna do modelo sobre o que o parceiro via, a decisão do modelo sobre o que fazer permaneceu exatamente a mesma. Ele agiu como se tivesse uma memória perfeita da visão do parceiro, mas simplesmente escolheu não usar essa memória ao fazer um movimento.
Essa desconexão foi consistente em quatro tipos diferentes de modelos de código aberto testados, variando de sistemas menores a maiores. Os modelos não estavam falhando porque careciam da informação; eles estavam falhando porque não estavam roteando essa informação para a parte do sistema que decide as ações. Os pesquisadores descartaram várias outras possibilidades, como os modelos estarem confusos com a redação das perguntas ou o método de direcionamento ser muito fraco para registrar. Eles testaram dezenas de maneiras diferentes de formular as instruções e descobriram que nenhum nível de instrução (prompting) poderia forçar os modelos a usar suas crenças internas para guiar suas ações. Os modelos eram efetivamente "cegos" para o próprio conhecimento quando se tratava de dar um passo.
O estudo conclui que, embora esses sistemas de inteligência artificial possam ser treinados para descrever o estado mental de um parceiro, eles não conectam automaticamente essa descrição ao seu próprio comportamento. Eles podem falar sobre o que alguém sabe, mas não usam esse conhecimento para decidir o que fazer. Isso sugere que simplesmente ensinar um modelo a responder perguntas sobre crenças não é suficiente para criar um agente verdadeiramente cooperativo. Para que a IA trabalhe perfeitamente com humanos, a compreensão interna dos outros deve estar conectada diretamente ao processo de tomada de decisão, uma conexão que os modelos atuais parecem carecer.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.