Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
Três estudos prospectivos sobre o Claude Opus 5 revelam que, embora os metadados de ferramenta-resultado inicialmente parecessem aumentar a adoção de falsas afirmações em comparação com asserções puras, replicações subsequentes pré-registradas demonstraram que esse efeito não foi consistente nem superior à influência de texto inserido explicitamente no corpo do texto.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo moderno da inteligência artificial, programas de computador conhecidos como modelos de linguagem estão atuando cada vez mais como agentes que podem lembrar coisas, procurar informações e escrever notas para si mesmos. Imagine um assistente digital que mantém um diário de seu trabalho. Ele pode ler uma nota que escreveu anteriormente, tratar essa nota como um fato e usá-la para tomar uma decisão mais tarde. Essa capacidade de ler de um depósito para o qual também escreve cria um ciclo único: uma afirmação que foi meramente anotada sem prova pode retornar mais tarde parecendo um registro verificado. A questão que os pesquisadores fazem agora é se a maneira como essa informação é embalada altera como o computador a trata. Será que uma nota que chega dentro de um "resultado de ferramenta" (tool result) formal e estruturado — um formato digital específico usado para recuperação de dados — carrega mais peso do que a mesma nota chegando como texto simples? Se o formato por si só torna o computador mais propenso a acreditar em uma afirmação falsa, isso sugere que o sistema pode ser enganado pela aparência de autoridade em vez da evidência real.
Para investigar isso, um pesquisador chamado Justin Bronder configurou uma série de experimentos controlados usando uma versão específica de um modelo de IA chamado Claude Opus 5. O objetivo era ver se o modelo adotaria uma informação falsa simplesmente porque ela chegou em um determinado formato. A configuração era uma tarefa sintética na qual o modelo foi solicitado a identificar um código específico para um item nomeado. O código correto estava oculto do modelo, mas um código errado foi secretamente plantado no histórico da conversa. O modelo tinha que escolher entre o código errado, um outro código correto ou admitir que não sabia. O pesquisador testou se o modelo aceitaria cegamente o código errado plantado se ele aparecesse em um formato de "resultado de ferramenta" versus se aparecesse como uma simples declaração pelo assistente.
Na primeira fase do estudo, o modelo foi apresentado a um histórico onde um assistente anterior havia feito uma afirmação, e um "resultado de ferramenta" separado continha um registro. Quando o código falso apareceu na declaração de texto simples feita pelo assistente, o modelo quase nunca o aceitou; ele corretamente ignorou a informação falsa ou admitiu que não sabia. No entanto, quando esse mesmo código falso apareceu dentro do resultado de ferramenta estruturado, o modelo o aceitou como verdade em quatorze de vinte e quatro tentativas. Esse achado inicial sugeriu que o formato de resultado de ferramenta poderia de fato carregar um tipo especial de autoridade que o texto simples não possui. O modelo parecia tratar o registro estruturado como uma busca verificada, embora fosse apenas um erro plantado.
Para garantir que isso não fosse uma coincidência, o pesquisador repetiu a comparação em um segundo experimento estritamente planejado. Desta vez, o modelo novamente ignorou a afirmação falsa quando ela vinha do texto do assistente, mas aceitou a afirmação falsa no formato de resultado de ferramenta em sete de vinte e quatro tentativas. Isso confirmou que a diferença era real e reproduzível sob essas condições específicas. O pacote de resultado de ferramenta parecia ter um apelo mais forte na tomada de decisão do modelo do que a afirmação em texto simples.
No entanto, a história deu uma reviravolta significativa no terceiro e último estudo. O pesquisador percebeu que os testes anteriores poderiam ter sido injustos porque o texto simples e o resultado de ferramenta eram apresentados de maneiras e em momentos diferentes. Nesta nova configuração, o modelo foi informado com antecedência que veria dois registros: um no formato de resultado de ferramenta e outro como texto simples. Ambos foram apresentados juntos na pergunta final. O pesquisador então trocou qual registro continha o código falso. Quando o código falso estava no texto simples, o modelo o aceitou em todos os testes, sessenta de sessenta. Quando o código falso estava no resultado de ferramenta, o modelo o aceitou em cinquenta e sete de sessenta tentativas.
Este resultado final derrubou a ideia inicial de que o formato de resultado de ferramenta é inerentemente mais poderoso. Mostrou que, quando o modelo é explicitamente instruído a olhar para ambos os registros, o texto simples é tão convincente quanto o resultado de ferramenta. A diferença anterior não era porque o formato de resultado de ferramenta possuía uma autoridade mágica, mas porque a maneira como a informação foi apresentada nos dois primeiros estudos fez com que o resultado de ferramenta parecesse a única resposta válida para uma tarefa de busca. O modelo estava seguindo as instruções da estrutura da tarefa em vez de julgar a fonte da informação.
O estudo conclui que o modelo não possui uma regra interna que diz "resultados de ferramentas são sempre verdadeiros". Em vez disso, o modelo é sensível a como uma tarefa é estruturada. Se a tarefa parece uma busca onde um resultado de ferramenta é a resposta esperada, o modelo confiará nesse formato. Se a tarefa apresenta duas opções lado a lado, o modelo as trata como iguais e acreditará em informações falsas, independentemente de estarem em um resultado de ferramenta ou em texto simples. As descobertas sugerem que o perigo da informação falsa não é apenas sobre o formato em que ela chega, mas sobre como toda a conversa é estruturada para fazer o modelo sentir que tem um motivo para confiar nessa informação. A pesquisa destaca que, nesses sistemas, a aparência de um registro verificado pode ser fabricada simplesmente mudando a embalagem, mas que esse efeito desaparece quando o modelo é solicitado a comparar fontes diretamente.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.