Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Este artigo apresenta o CHIVE, um pipeline agêntico que avalia e melhora métodos de explicação de LLM ao utilizar experimentos contrafatuais para verificar se as explicações conseguem prever com precisão o comportamento do modelo em entradas relacionadas, revelando que as técnicas atuais de interpretabilidade não oferecem vantagem preditiva, enquanto demonstra que o treinamento em dados gerados pelo CHIVE aumenta a generalização.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Para entender do que se trata esta pesquisa, imagine tentar compreender por que uma pessoa faz uma escolha específica. Se você perguntar a ela, ela pode lhe dar um motivo, mas esse motivo pode ser um palpite, uma racionalização ou simplesmente estar errado. No mundo da inteligência artificial, os pesquisadores enfrentam um desafio semelhante com os grandes modelos de linguagem. Esses sistemas são ferramentas poderosas que podem escrever código, contar histórias e resolver problemas, mas também são "caixas pretas". Podemos ver o que eles dizem, mas não conseguimos ver facilmente as engrenagens internas que giram para produzir essas palavras. Cientistas tentam há muito tempo construir ferramentas para espiar dentro dessas engrenagens, esperando encontrar a verdadeira causa do comportamento de um modelo. O objetivo é saber se um modelo está sendo honesto sobre seu próprio raciocínio ou se está escondendo um motivo diferente. A questão é: como sabemos se uma explicação é realmente boa? Se um pesquisador diz: "O modelo cometeu um erro porque ficou confuso com uma palavra específica", como podemos testar se isso é verdade?
Uma equipe de pesquisadores da Anthropic decidiu testar isso indo além de simples palpites e entrando no reino do "e se". Em vez de apenas pedir a um modelo que se explique, eles construíram um sistema que altera ativamente o ambiente do modelo para ver se a explicação se sustenta. Eles chamam esse processo de investigação contrafactual. Funciona assim: se você acredita que um modelo cometeu um erro devido a uma palavra específica, você muda essa palavra e vê se o erro desaparece. Se o erro desaparecer quando você muda a palavra, sua explicação provavelmente estava correta. Se o erro permanecer o mesmo, sua explicação estava errada. Este método transforma uma teoria vaga em um fato testável. Os pesquisadores queriam ver se as ferramentas atuais que os cientistas usam para olhar dentro dos modelos de IA poderiam realmente ajudar a prever essas mudanças e se poderiam ensinar os modelos a entender melhor seu próprio comportamento.
Para fazer isso, os pesquisadores criaram um novo pipeline automatizado chamado CHIVE. Este sistema atua como um investigador incansável. Ele começa fazendo com que um modelo de IA alvo faça milhares de perguntas de conversas do mundo real, procurando momentos em que o modelo faz algo inesperado ou estranho. Assim que encontra um comportamento estranho, o sistema não para por aí. Ele lança uma série de experimentos. Ele pega a pergunta original e faz edições pequenas e específicas nela — como mudar um nome, remover uma frase ou trocar uma palavra — e então faz a nova pergunta ao modelo. Ele faz isso dezenas de vezes para ver com que frequência o comportamento estranho acontece com a pergunta original versus a editada. Se mudar uma palavra específica fizer o comportamento estranho desaparecer, o sistema registra isso como prova de que a palavra era a causa. Esse processo gera milhares de exemplos de alta qualidade onde a causa de um comportamento é conhecida e verificada pelo próprio experimento.
Os pesquisadores usaram essa vasta coleção de exemplos verificados para testar duas ideias principais. Primeiro, eles queriam ver se as ferramentas existentes que os cientistas usam para interpretar modelos de IA eram realmente úteis. Essas ferramentas são projetadas para ler a atividade interna do modelo, de forma semelhante a como um médico poderia ler um exame de imagem cerebral, para encontrar os "pensamentos" por trás de uma resposta. Os pesquisadores deram essas ferramentas a um agente de computador inteligente e pediram que ele previsse se uma mudança específica em um prompt alteraria o comportamento do modelo. Eles esperavam que as ferramentas dessem ao agente uma vantagem significativa, ajudando-o a ver as causas ocultas que uma leitura simples da conversa perderia. Surpreendentemente, as ferramentas não forneceram ajuda alguma. O agente teve um desempenho tão bom quanto, ou às vezes até pior, quando tinha acesso a essas ferramentas de leitura interna em comparação a quando tinha apenas o texto da conversa. As ferramentas falharam em revelar a conexão entre um input específico e o comportamento resultante, deixando o agente no escuro como antes.
Segundo, os pesquisadores perguntaram se poderiam ensinar os modelos a prever seu próprio comportamento usando os dados que coletaram. Eles pegaram os modelos alvo e os treinaram nos milhares de experimentos que realizaram. A tarefa de treinamento era simples: mostrar ao modelo uma conversa e uma mudança proposta, e pedir que ele adivinhe se essa mudança faria o comportamento estranho parar de acontecer. Os resultados aqui foram muito mais promissores. Os modelos que receberam este treinamento tornaram-se significativamente melhores em prever o resultado dessas mudanças. Eles aprenderam a reconhecer padrões em seu próprio comportamento que não haviam notado antes. Essa melhoria se manteve mesmo quando os pesquisadores testaram os modelos em novos tipos de perguntas e cenários que eles nunca tinham visto durante o treinamento. Os modelos aprenderam uma habilidade geral de entender como suas próprias ações eram influenciadas por seus inputs.
O estudo também explorou se os modelos estavam simplesmente memorizando as respostas ou se haviam adquirido uma compreensão interna mais profunda de si mesmos. Para testar isso, os pesquisadores treinaram um modelo com dados sobre o próprio comportamento e outro modelo com dados sobre o comportamento de um modelo diferente. Se o primeiro modelo tivesse um acesso especial e privado ao seu próprio estado interno, ele deveria ter tido um desempenho melhor que o segundo modelo. No entanto, ambos os modelos tiveram um desempenho igual. Isso sugere que os modelos não estavam acessando algum conhecimento oculto e privilegiado sobre si mesmos. Em vez disso, eles estavam aprendendo a reconhecer os padrões de causa e efeito a partir dos dados que lhes foram mostrados, tal como um estudante aprendendo uma matéria ao estudar exemplos.
As descobertas oferecem um quadro claro de onde o campo se encontra. As ferramentas atuais para olhar dentro dos modelos de IA, que mostraram promessa em testes simples e controlados, não parecem funcionar quando aplicadas aos comportamentos complexos e desordenados que ocorrem em conversas do mundo real. Elas falham em proporcionar o momento "eureka" que explica por que o modelo fez o que fez. Por outro lado, o estudo mostra que os modelos podem ser treinados para se tornarem muito melhores em prever suas próprias reações a mudanças em seu ambiente. Isso sugere que o caminho para entender o comportamento da IA pode não ser através da construção de melhores microscópios para olhar dentro da máquina, mas sim através do treinamento da máquina para reconhecer os padrões de suas próprias ações. Os pesquisadores disponibilizaram todos os seus dados e código, fornecendo uma nova base para que outros continuem este trabalho, garantindo que as explicações futuras do comportamento da IA sejam fundamentadas no que realmente acontece quando o mundo muda, e não apenas no que pensamos que pode estar acontecendo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.