🤖 machine learning

Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models

Este artigo apresenta o Linear-LLM-SCM, uma estrutura para avaliar a capacidade de grandes modelos de linguagem de estimar coeficientes causais quantitativos em modelos causais estruturais Gaussianos Lineares, revelando limitações significativas em sua precisão e estabilidade em conjuntos de dados do mundo real.

Autores originais: Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô superinteligente que leu quase todos os livros, artigos e sites da internet. Você faz uma pergunta ao robô e ele responde com a confiança de um professor experiente. Mas aqui está o detalhe: embora esse robô seja incrível em dizer que duas coisas estão conectadas (como "fumar causa tosse"), ele frequentemente tem dificuldade em dizer o quanto elas estão conectadas (como "fumar aumenta a tosse em exatamente 15%"). Esta é a diferença entre o raciocínio qualitativo (conhecer a história) e o raciocínio quantitativo (conhecer a matemática). No mundo da ciência, usamos algo chamado "modelos causais" para mapear essas histórias. Pense em um modelo causal como um fluxograma ou uma receita onde as setas mostram como um ingrediente altera outro. Geralmente, os cientistas precisam calcular números de experimentos reais para descobrir as quantidades exatas na receita. Mas e se pudéssemos apenas pedir ao nosso robô superinteligente para adivinhar esses números com base no que ele leu? Essa é a grande questão que os pesquisadores estão fazendo hoje: um IA que sabe tudo sobre o mundo também consegue fazer a matemática para prever o futuro com precisência?

Este artigo, intitulado "Linear-LLM-SCM", estabelece um campo de testes para testar exatamente isso. Os pesquisadores criaram um jogo onde deram sete diferentes "Large Language Models" (o nome chique para esses robôs superinteligentes) um mapa de um sistema do mundo real — um Grafo Acíclico Dirigido, ou DAG, para abreviar. Você pode pensar em um DAG como um mapa de ruas de mão única de causa e efeito, onde você não pode dirigir em círculos. O mapa mostrava quais variáveis (como "Níveis de glicose" ou "Gastar dinheiro") influenciavam outras. O trabalho dos robôs era agir como estatísticos especialistas e escrever as equações matemáticas exatas que descrevem essas relações, especificamente adivinhando os "coeficientes" (os números que dizem o quão forte é o efeito).

A equipe testou sete mapas diferentes do mundo real, variando desde como as pessoas gastam dinheiro até como as plantas crescem em algas. Eles pediram aos robôs que olhassem para o mapa e as descrições das variáveis, e então gerassem uma equação de regressão (uma fórmula matemática) para cada parte do mapa. Eles então compararam os palpites dos robôs contra a "verdade fundamental" (ground truth) — os números reais e corretos que os cientistas já haviam medido no mundo real.

Os resultados foram uma mistura de "nada mal" e "ops". Os pesquisadores descobriram que, embora os robôs pudessem às vezes acertar a direção (efeito positivo ou negativo), os números reais estavam totalmente dispersos. Mesmo quando os pesquisadores disseram aos robôs para serem o mais consistentes possível (definindo uma "temperatura" para zero, o que é como dizer ao robô para parar de adivinhar e apenas calcular), as respostas ainda variavam drasticamente de uma tentativa para outra. Por exemplo, no mapa de "Caquexia" (relacionado à perda de massa muscular), um robô estimou um coeficiente de 1,07, enquanto outro estimou 1,04, mas a variação era alta o suficiente para ser preocupante. No mapa "Algal", um modelo de robô menor (Llama 3.1 8B) falhou completamente em escrever uma equação legível.

O artigo também submeteu os robôs a um teste de estresse para ver o quão resistentes eles eram. Primeiro, eles mudaram as unidades de medida (como mudar de micrômetros para nanômetros). Surpreendentemente, às vezes isso fazia com que as respostas dos robôs parecessem melhores por acidente, provavelmente porque os números se tornaram mais fáceis de escrever, não porque os robôs entenderam melhor a física. Segundo, eles enganaram os robôs adicionando conexões falsas ao mapa (arestas espúrias). Quando o mapa tinha uma seta falsa apontando de uma coisa para outra que não a afetava de fato, o desempenho dos robôs caía. Eles ficavam confusos, e sua habilidade de classificar a importância de diferentes fatores piorava.

A principal conclusão é que, embora esses modelos de IA sejam ótimos em entender a história de causa e efeito, eles são atualmente pouco confiáveis para fazer a matemática de prever o tamanho exato desses efeitos. O estudo sugere que usar esses robôs para decisões de alto risco, como na saúde ou em ambientes clínicos, é arriscado agora, porque seus números podem ser inconsistentes e sensíveis a pequenas mudanças na forma como o problema é apresentado. Os autores não estão dizendo que os robôs são inúteis; eles estão dizendo que precisamos ser muito cuidadosos e não confiar neles com os números finais até que eles se tornem muito mais estáveis. Eles até lançaram sua estrutura de teste para o público para que outros cientistas possam continuar tentando resolver este problema, esperando que um dia, nossos assistentes digitais possam não apenas contar a história, mas também fazer a matemática perfeitamente.

Resumo Técnico: Linear-LLM-SCM

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado potencial na identificação de relações causais qualitativas (tarefas do Tipo 1), sua capacidade de realizar o raciocínio causal quantitativo — especificamente a estimativa de tamanhos de efeito que parametrizam relações funcionais em domínios contínuos (tarefas do Tipo 3) — permanece subexplorada. Pesquisas existentes sugerem que os LLMs têm dificuldade em descobrir estruturas causais a partir de dados e em estimar consequências quantitativamente. Além disso, os métodos atuais para estimativa de efeito causal baseados em LLM frequentemente dependem de domínios discretos, exigem dados observacionais numéricos ou utilizam arquiteturas especializadas para amostrar distribuições condicionais, em vez de elicitar diretamente parâmetros estruturais. Este artigo aborda a lacuna de avaliar se os LLMs podem estimar diretamente parâmetros de efeito causal linear contínuo para Modelos Causais Estruturais (SCMs) pré-especificados usando apenas a estrutura causal e a semântica das variáveis, sem dados observacionais.

Metodologia: Framework Linear-LLM-SCM
Os autores introduzem o Linear-LLM-SCM, um framework plug-and-play projetado para avaliar LLMs na parametrização de SCM Gaussiano-Linear. O framework opera sob a premissa de que os LLMs aprenderam informações quantitativas ou qualitativas de seus corpora de treinamento, incluindo literatura científica formalizada como SCMs ou regressões lineares.

Requisitos de Entrada: O sistema requer uma estrutura de Grafo Acíclico Dirigido (DAG) ( $G$ ), descrições de variáveis ( $D$ ), incluindo unidades e texto curto, e restrições de variáveis ( $R$ ) (limites inferiores/superiores). Os parâmetros de efeito da verdade fundamental (ground truth) são fornecidos para avaliação.
Decomposição e Prompting: Em vez de alimentar o modelo com o DAG inteiro, o framework decompõe o grafo em conjuntos de pais-filhos locais. Ele percorre o DAG em ordem topológica. Para cada nó alvo, o LLM é instruído com:
- Uma persona de especialista de domínio e um resumo do fenômeno.
- Descrições, unidades e intervalos da variável alvo e de seus pais diretos.
- Instruções para gerar uma equação estrutural linear (intercepto e coeficientes beta) em um formato de string específico.
Parsing de Resposta: O sistema extrai os coeficientes beta da saída textual do LLM, analisando a equação linear para compará-la com a verdade fundamental.
Feedback Iterativo: Para impor consistência global dentro do DAG, o framework inclui um mecanismo de feedback iterativo. Ele realiza verificações de sanidade analíticas contra restrições rígidas pré-especificadas (ex: intervalos de variáveis) e repete a elicitação se as restrições forem violadas.
Métricas de Avaliação: O framework compara os parâmetros elicitados com a verdade fundamental usando quatro métricas:
- M1–M3: Distâncias da norma L2 entre vetores de parâmetros (com diferentes métodos de agregação). M2 e M3 são invariantes de escala ou normalizadas para lidar com problemas de intervalo de variáveis.
- M4: Uma métrica que captura a ordenação relativa do tamanho do efeito por nó.

Configuração Experimental

Modelos: O estudo avaliou quatro LLMs de uso geral pré-treinados: Gemini 2.5 Flash (Mistura de Especialistas esparsa), Llama 3.1 8B (denso), Llama 3.3 70B (denso) e GPT-5.4.
Datasets: Sete DAGs do mundo real foram selecionados do repositório BnRep, filtrados para configurações Gaussiano-Lineares contínuas e um máximo de 15 nós.
Condições:
- Estimativa Direta: Parametrização padrão contra a verdade fundamental.
- Condições Adversariais (RQ2):
  - Ajuste de Unidades (Unit Tweaking): Alteração das unidades das variáveis (ex: $\mu$ M para nM) para testar a robustez.
  - Especificação Incorreta do DAG (DAG Misspecification): Introdução de arestas espúrias na estrutura do DAG para simular erros de modelagem ou limitações observacionais.
Protocolo: Cada condição foi executada 25 vezes com temperatura definida como zero para minimizar a estocasticidade, reportando a média com intervalos de confiança de 95%.

Resultados Principais

Estimativa Direta (RQ1):
- O desempenho variou significamente entre os DAGs e os modelos. Nenhum modelo único dominou todas as métricas em todos os DAGs.
- GPT-5.4 e Gemini 2.5 Flash geralmente tiveram o melhor desempenho em M3 (distância) e M4 (ordenação).
- Llama 3.3 70B geralmente superou o Llama 3.1 8B, sugerindo um benefício de contagens de parâmetros maiores para esta tarefa.
- O modelo menor (Llama 3.1 8B) falhou em gerar equações analisáveis para o DAG algal2.
Estocasticidade: Mesmo com temperatura zero, modelos maiores (Gemini 2.5 Flash, Llama 3.3 70B, GPT-5.4) exibiram variabilidade substancial entre as execuções, com distribuições não Gaussianas. Esse não-determinismo é identificado como um modo de falha crítico para aplicações de segurança crítica.
Robustez (RQ2):
- Sensibilidade de Unidade: Alterar unidades às vezes melhorou as métricas de forma contra-intuitiva, potencialmente devido ao aumento da precisão numérica na representação textual (ex: $1 \to 1000$ ).
- Perturbação Estrutural: Adicionar arestas espúrias (especificação incorreta do DAG) degradou o desempenho de forma geral. A maioria dos modelos mostrou aumento na distância (M3) e redução na precisão de ordenação (M4) sob condições estruturais adversariais, indicando robustez limitada à incerteza estrutural.

Principais Contribuições

Introdução de Framework: O artigo apresenta o Linear-LLM-SCM, um novo framework para avaliar a parametrização causal quantitativa em domínios contínuos sem dados observacionais.
Pipeline Open-Source: Os autores disponibilizaram o pipeline de avaliação, permitindo que pesquisadores utilizem seus próprios DAGs, metadados de variáveis e LLMs.
Benchmarking Empírico: O estudo fornece um benchmark sistemático através de sete DAGs do mundo real e quatro diversas arquiteturas de LLM, destacando as limitações atuais dos LLMs como parametrizadores causais quantitativos.
Análise de Modo de Falha: O trabalho identifica modos de falha específicos, incluindo alta variabilidade nas estimativas de coeficientes, sensibilidade a perturbações estruturais e a incapacidade de modelos menores de analisar consistentemente equações complexas.

Significância e Alegações
O artigo posiciona seu trabalho como um passo necessário para entender as capacidades e limitações dos LLMs em domínios de segurança crítica, como a saúde, onde o conhecimento especializado causal quantitativo é necessário. Os autores afirmam explicitamente que os LLMs não devem ser usados atualmente para estimativa de efeito causal quantitativo em saúde real ou suporte à decisão clínica devido à variabilidade observada e falta de robustez.

A significância reside em:

Destacar a Lacuna: Demonstrar que, embora os LLMs possam codificar conhecimento causal qualitativamente, seu raciocínio quantitativo em domínios lineares contínuos é atualmente pouco confiável.
Implicações de Segurança: A estocasticidade observada e a sensibilidade ao ruído estrutural representam riscos para aplicações de segurança crítica, exigindo mais pesquisas em testes de segurança e estratégias de mitigação antes da implementação.
Recurso Comunitário: Ao fornecer um framework modular, os autores visam incentivar novos estudos sobre a elicitação de efeito causal baseada em LLM, focando especificamente em melhorar a robustez e reduzir a variância.

Os autores concluem que trabalhos futuros devem estender o framework para formas funcionais não lineares e investigar métodos para mitigar o ruído estrutural, bem como examinar se as saídas de incerteza textual dos LLMs são calibradas.

Mais como este