From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers

A ciência frequentemente busca entender não apenas o que acontece, mas por que acontece. Quando pesquisadores tentam mapear as causas por trás de um fenômeno — seja um vírus se espalhando por uma população ou uma máquina falhando em uma fábrica — eles constroem um diagrama de conexões. Neste diagrama, uma linha direta de uma coisa para outra significa que a primeira coisa causa imediatamente a segunda. Se um vírus leva a uma infecção, que por sua vez leva a um resultado de teste positivo, o vírus causa o resultado do teste apenas indiretamente, através da infecção. Descobrir quais linhas são diretas e quais são indiretas é um quebra-cabeça difícil conhecido como descoberta causal. Durante décadas, os cientistas confiaram em ferramentas matemáticas complexas e grandes conjuntos de observações para resolver esse enigma, mas essas ferramentas às vezes têm dificuldade quando os dados são escassos ou quando diferentes padrões parecem idênticos.

Nos últimos anos, um novo tipo de ferramenta surgiu: os grandes modelos de linguagem. Estes são sistemas de computador treinados em vastas quantidades de texto que podem responder perguntas, escrever histórias e raciocinar sobre problemas. Como leram muito, eles parecem deter um profundo poço de conhecimento sobre como o mundo funciona, incluindo como as coisas causam umas às outras. Pesquisadores começaram a questionar se esses sistemas poderiam atuar como guias especialistas, dizendo-nos quais conexões em um diagrama são reais e diretas. A esperança era que esses modelos pudessem fornecer um atalho, oferecendo julgamentos confiáveis sobre causa e efeito sem a necessidade de realizar experimentos caros. No entanto, um novo estudo sugere que, embora esses modelos sejam bons em perceber que duas coisas estão relacionadas, eles são frequentemente péssimos em saber exatamente como elas estão conectadas, e são frequentemente excessivamente confiantes quando erram.

Uma equipe de pesquisadores decidiu testar essa confiabilidade tratando os grandes modelos de linguagem como juízes de relações de causa e efeito diretas. Eles reuniram doze versões diferentes desses modelos, variando de sistemas menores e mais eficientes a sistemas massivos e poderosos. Em seguida, apresentaram a esses modelos seis cenários diferentes do mundo real, cada um representado por um mapa conhecido de causas e efeitos. Esses cenários abrangiam diversos campos, desde condições médicas como hepatite e COVID-19 até processos industriais e sistemas ecológicos. Para cada par de variáveis nesses mapas, os pesquisadores fizeram aos modelos uma pergunta simples: O primeiro item causa diretamente o segundo? Os modelos tinham que responder sim ou não e fornecer um índice de confiança, um número indicando o quão certos se sentiam de sua resposta.

Os resultados revelaram um padrão consistente de entusiasmo excessivo. Os modelos tendiam a dizer "sim" com frequência excessiva. Em vez de desenhar um mapa esparso com apenas as conexões diretas necessárias, os modelos produziam teias densas onde quase tudo parecia estar diretamente conectado a tudo mais. Esse comportamento era tão forte que, mesmo quando os pesquisadores tentaram diferentes formas de fazer as perguntas, os modelos não puderam ser facilmente treinados para serem mais seletivos. Eles identificavam corretamente que duas coisas estavam relacionadas, mas falhavam em distinguir entre uma causa direta e uma indireta. Por exemplo, se um vírus causava uma infecção que causava uma febre, o modelo frequentemente afirmava que o vírus causava diretamente a febre, ignorando o passo intermediário. Esse erro ocorria em cerca de 40 por cento dos casos onde a relação era indireta e em 36 por cento dos casos onde a direção era invertida.

Talvez a descoberta mais preocupante tenha sido a falta de autoconsciência dos modelos em relação aos seus erros. Quando os modelos cometiam esses erros estruturais, eles não hesitavam. Em mais de 80 por cento dos casos em que alegavam incorretamente que existia um elo direto entre itens indiretamente relacionados, eles atribuíam um índice de confiança de pelo menos 80 por cento. Eles não estavam apenas adivinhando; eles estavam confiantemente errados. O estudo também examinou se os modelos poderiam ser confiados para distinguir entre um palpite correto e um errado com base em seus índices de confiança. Os pesquisadores descobriram que os números de confiança que os modelos atribuíam a si mesmos eram frequentemente não confiáveis. Um modelo poderia dizer que estava 90 por cento seguro, mas esse número não correlacionava de fato com o fato de a resposta estar certa. O único método que mostrou uma leve melhoria foi perguntar aos modelos a mesma pergunta de formas diferentes e ver se eles concordavam entre si, mas mesmo este método não era uma solução perfeita.

Os pesquisadores também investigaram se os modelos estavam simplesmente memorizando as respostas das perguntas do teste que já haviam visto antes. Eles descobriram que, para um conjunto de dados específico envolvendo uma condição médica, vários modelos tiveram um desempenho suspeitamente bom, sugerindo que eles poderiam ter visto os dados durante seu treinamento. No entanto, essa familiaridade não explicou o baixo desempenho nos outros cinco conjuntos de dados, onde os modelos ainda enfrentavam os mesmos tipos de erros. Mesmo quando os pesquisadores forçaram os modelos a escolher entre três opções — causa direta, causa reversa ou nenhum elo direto — em vez de apenas duas, os modelos ainda não melhoraram significamente. Eles continuaram a prever elos diretos onde não existiam, provando que o problema não era apenas uma falha na forma como as perguntas eram feitas, mas uma limitação fundamental na forma como esses sistemas entendem a causalidade.

Em última análise, o estudo conclui que, embora os grandes modelos de linguagem sejam ferramentas poderosas para gerar ideias, eles não devem ser tratados como prova definitiva de como o mundo funciona. Eles devem ser vistos como fontes de sugestões suaves, oferecendo um ponto de partida que deve ser verificado e validado por outros métodos. Eles podem nos dizer que duas coisas provavelmente estão conectadas, mas não podem ser confiados para desenhar as linhas precisas de um mapa causal por conta própria. A confiança que expressam é frequentemente um reflexo de seus dados de treinamento, e não uma medida verdadeira da verdade. Para cientistas e engenheiros que precisam entender a mecânica precisa de causa e efeito, confiar exclusivamente nesses modelos seria como navegar em uma cidade complexa com um mapa que conecta cada rua a todas as outras; pode parecer abrangente, mas levaria você ao erro. O caminho a seguir reside no uso desses modelos para gerar hipóteses que sejam então rigorosamente testadas, em vez de aceitar seus julgamentos confiantes como respostas finais.