Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

No mundo do software, diferentes sistemas de computador frequentemente precisam conversar uns com os outros para realizar tarefas. Um sistema pode enviar uma data escrita como "dia primeiro", enquanto o outro espera "mês primeiro". Um pode contar dinheiro em centavos, enquanto o outro conta em dólares. Essas pequenas diferenças geralmente não são mistérios; são fatos que alguém, em algum lugar, registrou. O desafio surge quando um novo tipo de trabalhador, um agente de inteligência artificial, é solicitado a construir a ponte entre esses dois sistemas. Esses agentes são ferramentas poderosas que podem escrever código de computador para conectar diferentes programas. No entanto, eles operam sob uma regra simples: eles só podem usar a informação que lhes é dada em suas instruções. Se as instruções não dizem se uma data é dia-primeiro ou mês-primeiro, o agente não pode saber a resposta. Ele deve fazer uma escolha.

O perigo nesta situação não é que o agente trave ou pare de funcionar. O perigo é que ele continue trabalhando perfeitamente, mas erre a resposta. Isso é chamado de falha silenciosa. O código roda sem erros, passa nos testes básicos e parece correto para um revisor humano, mas envia os dados errados para o próximo sistema. Este é um problema crítico para empresas e organizações porque o erro não aparece imediatamente. Em vez disso, os números errados fluem rio abaixo, corrompendo registros, relatórios financeiros e decisões muito antes de alguém perceber que algo está quebrado. A pergunta que os pesquisadores fizeram foi simples: quando esses agentes inteligentes enfrentam um fato ausente que não podem adivinhar, eles param e pedem ajuda ou apenas adivinham com confiança e quebram o sistema?

Um pesquisador propôs-se a medir exatamente com que frequência isso acontece. Ele criou uma série de tarefas realistas onde um agente de inteligência artificial tinha que escrever um trecho de código para conectar dois sistemas. Em algumas dessas tarefas, o agente recebia o fato ausente, como ser informado explicitamente que as datas são dia-primeiro. Em outras tarefas, o fato era ocultado, e o agente podia ou fazer uma pergunta para encontrá-lo, ou era forçado a escrever o código sem perguntar. Eles testaram isso com oito modelos diferentes de inteligência artificial, variando de programas menores de código aberto até os sistemas mais avançados disponíveis hoje. O pesquisador não olhou apenas se o código rodava; ele verificou se o código produzia a resposta correta para todos os cenários possíveis, incluindo os casos complicados que dependem desse fato ausente.

Os resultados revelaram uma realidade dura sobre como esses sistemas funcionam. Quando os agentes recebiam o fato ausente, eram altamente bem-sucedidos, construindo conexões corretas cerca de oitenta e oito por cento das vezes. Isso provou que os agentes eram capazes de realizar o trabalho se tivessem a informação necessária. No entanto, quando o fato estava ausente e os agentes eram proibidos de perguntar, a situação mudava drasticamente. Os agentes não paravam; eles não diziam que estavam confusos. Em vez disso, escolhiam uma convenção e escreviam o código. Em sessenta e dois por cento desses casos, o código que escreviam era uma falha silenciosa. Rodava limpo, parecia perfeito, mas retornava o valor errado. Isso acontecia independentemente de quão avançado fosse o modelo. Mesmo os sistemas mais poderosos, que conseguiam resolver o problema perfeitamente quando recebiam o fato, falhavam silenciosamente quase metade das vezes quando não podiam perguntar.

O estudo também investigou se simplesmente permitir que o agente fizesse uma pergunta resolveria o problema. O pesquisador descobriu que a resposta depende inteiramente de quem está ouvindo. Quando os modelos mais avançados tinham permissão para perguntar, eles perguntavam em quase todas as execuções. Eles não adivinhavam; eles buscavam a verdade. No entanto, se não houvesse ninguém para responder, a integração simplesmente estagnava. O trabalho parava, e nenhum código era produzido. Este é um tipo diferente de falha, mas ainda é uma falha. O pesquisador descobriu que, para o sistema funcionar, o pipeline — o processo que executa o agente — deve ser projetado para rotear a pergunta do agente para um humano ou um sistema parceiro que possa fornecer a resposta. Ter apenas um canal aberto não é suficiente se não houver ninguém escalado para responder.

O pesquisador também testou uma regra de segurança onde o agente era instruído a recusar-se a escrever o código se não soubesse o fato ausente. Essa regra eliminou com sucesso as falhas silenciosas, reduzindo a taxa de erro para quase zero. No entanto, isso veio com um preço alto. O agente recusava-se a escrever o código mesmo quando a resposta poderia ter sido deduzida a partir das informações disponíveis. Isso fez com que o sistema parasse de funcionar em tarefas que ele poderia ter resolvido facilmente, reduzindo a taxa de sucesso de oitenta e um por cento para dezoito por cento. O estudo concluiu que a solução não é tornar os agentes mais inteligentes ou forçá-los a ser mais cautelosos. A solução reside no design do próprio processo. O sistema deve ser construído para detectar quando um fato está faltando através de uma fronteira organizacional e para rotear essa pergunta a uma pessoa ou a um sistema que possa respondê-la. Sem esse cabeamento específico, até a inteligência artificial mais capaz construirá com confiança uma ponte que leva ao lugar errado.