Resumo Técnico: CauTion – Sabendo Quando Confiar em LLMs para Descoberta Causal de Conjuntos (Ensemble)

1. Declaração do Problema

A descoberta causal a partir de dados observacionais enfrenta limitações fundamentais quando se depende exclusivamente de métodos estatísticos. Abordagens baseadas em restrições (ex: PC, FCI) são sensíveis a tamanhos de amostra finitos e podem recuperar apenas uma Classe de Equivalência de Markov (MEC), deixando muitas direções de arestas não resolvidas. Métodos baseados em pontuação e otimização contínua (ex: GES, NOTEARS) frequentemente sofrem com ótimos locais, sensibilidade a hiperparâmetros e suposições de distribuição que podem não se sustentar na prática.

Para preencher essas lacunas, Modelos de Linguagem de Grande Escala (LLMs) foram introduzidos para fornecer conhecimento de domínio e priors semânticos. No entanto, os métodos existentes aumentados por LLM sofrem de três falhas críticas:

1. Altos Custos de Tokens e Exposição a Erros: Métodos globais consultam LLMs sobre todos os $O(n^2)$ pares de variáveis, levando a custos proibitivos e expondo todo o grafo a potenciais alucinações do LLM.
2. Amplificação de Erros: Métodos que utilizam apenas arestas não direcionadas (ex: LLM-MEC) restringem as consultas a arestas não resolvidas, mas sofrem de acumulação de erros; um único erro do LLM pode desencadear uma cascata de orientações incorretas via regras de Meek.
3. Viés Algorítmico e Confiabilidade Não Verificada: A maioria dos métodos depende de um único algoritmo centrado em dados, tornando os resultados vulneráveis a vieses algorítmicos específicos. Além disso, eles frequentemente incorporam o conhecimento do LLM sem verificar sua confiabilidade em relação ao conjunto de dados específico, tratando o LLM como um oráculo infalível.

2. Metodologia: O Framework CauTion

Os autores propõem o CauTion, um framework que integra o conhecimento de domínio de LLMs em um conjunto (ensemble) de algoritmos de descoberta causal estatística através de filtragem de consenso e arbitragem calibrada pela confiança. O pipeline opera em três estágios distintos:

Estágio 1: Ensemble de Algoritmos e Filtragem de Consenso

O framework agrega saídas de múltiplos algoritmos de descoberta causal (especificamente PC, GES e CAMML nos experimentos). Para cada par de variáveis, os votos são acumulados para classificar as arestas em dois conjuntos:

• Conjunto de Consenso ($\mathcal{C}$): Pares onde todos os algoritmos concordam (ex: todos votam para $A \to B$ ou todos votam para nenhuma aresta). Estas arestas são resolvidas diretamente sem intervenção do LLM. No dataset Win95pts ($n=76$), este passo resolve aproximadamente 96,6% das arestas com 99,6% de precisão, servindo como uma pseudo-verdade de referência de alta confiança.
• Conjunto de Disputa ($\mathcal{D}$): Pares onde os algoritmos discordam ou estão incertos. Estes são passados para a etapa de arbitragem.

Estágio 2: Arbitragem Calibrada pela Confiança

Este estágio determina quando confiar no LLM ao estimar a confiabilidade relativa do LLM e do conjunto de algoritmos sem anotações externas.

• Estimativa de Confiabilidade:
  • Calibração do LLM: O LLM é consultado em uma amostra estratificada do Conjunto de Consenso (atuando como rótulos proxy) para estimar sua precisão em tarefas de existência e direção de arestas.
  • Calibração do Algoritmo: Uma avaliação Leave-One-Out (LOO) é realizada, onde a previsão de cada algoritmo é comparada contra o voto da maioria dos algoritmos restantes para estimar sua precisão.
• Cálculo de Peso de Confiança: Com base nas acurácias calibradas, os pesos de confiança ($\alpha_{exist}$ e $\alpha_{dir}$) são computados. Esses pesos quantificam a confiabilidade relativa do LLM versus o conjunto de algoritmos. Se ambos os recursos performarem próximo ao nível do acaso, o sistema assume um peso igual por padrão.
• Votação Calibrada: Para arestas no Conjunto de Disputa:
  • O sistema primeiro verifica se a margem de voto do conjunto de algoritmos excede um limiar derivado dos pesos de confiança. Se os algoritmos estiverem confiantes, o LLM é ignorado.
  • Se a margem do algoritmo for baixa, o LLM é consultado. A decisão final é uma agregação ponderada pela confiança entre o voto do algoritmo e a resposta do LLM.
  • Consultas de direção empregam uma técnica de duplo enquadramento (consultando $A \to B$ e $B \to A$) para mitigar o viés de posição, retendo apenas respostas consistentes.

Estágio 3: Reparo de Ciclos

O processo de votação produz um grafo direcionado que pode conter ciclos. Um passo de reparo de ciclo garante que a saída final seja um Grafo Acíclico Dirigido (DAG) válido.

• Ciclos são detectados, e as arestas dentro deles são avaliadas com base em suas margens de incerteza algorítmica.
• Arestas incertas são apresentadas ao LLM com o caminho do ciclo e as interpretações das variáveis. O LLM é solicitado a Inverter (Flip) a direção da aresta ou Remover (Remove) a aresta.
• Se o LLM não puder resolver o ciclo ou se não restarem ações, as arestas com a menor probabilidade de existência são removidas iterativamente até que o grafo seja acíclico.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Conceitual: Reenquadra a descoberta causal aumentada por LLM como um problema de arbitragem calibrada pela confiança. Esta perspectiva trata LLMs e algoritmos estatísticos como fontes de evidência complementares, mas imperfeitas, enfatizando que o conhecimento do LLM deve ser integrado apenas após sua confiabilidade ser calibrada contra um conjunto de métodos estatísticos.
2. Metodológica: A proposta do CauTion, um framework que combina consenso entre algoritmos, arbitragem de LLM consciente da confiabilidade e reparo de ciclo que preserva o DAG. Ele restringe unicamente as consultas ao LLM para arestas disputadas e reduz o peso da influência do LLM quando sua precisão de domínio estimada é baixa.
3. Empírica: Demonstração de que o CauTion supera consistentemente tanto os baselines centrados em dados quanto os aumentados por LLM em seis benchmarks. Os ganhos de desempenho mostram-se escaláveis conforme o tamanho do grafo aumenta, e o método exibe forte robustez a variações na seleção do backend do LLM.

4. Resultados Experimentais

Experimentos foram conduzidos em seis datasets do repositório bnlearn (Cancer, Insurance, Water, Alarm, Barley, Win95pts) com contagens de variáveis variando de 5 a 76.

• Desempenho: O CauTion alcançou a menor Distância de Hamming Estrutural (SHD) e os maiores scores F1 em todos os datasets. No maior dataset, Win95pts ($n=76$), o CauTion alcançou um SHD de 27, superando significativamente o segundo melhor baseline aumentado por LLM (SCP), que teve um SHD de 63.
• Escalabilidade: A lacuna de desempenho entre o CauTion e os baselines ampliou-se à medida que a escala do grafo aumentou, validando o design do framework para lidar com estruturas maiores e mais complexas.
• Robustez: O CauTion demonstrou superior estabilidade através de seis diferentes backends de LLM (variando de modelos fracos como Llama-3.1-8B a modelos fortes como Claude-Sonnet-4.6). Em contraste, métodos totalmente impulsionados por LLM (ex: LLM-BFS, CORR-LLM) mostraram degradação severa de desempenho e alta variância quando modelos mais fracos eram utilizados.
• Eficiência: Ao filtrar mais de 90% das arestas via consenso, o CauTion reduziu drasticamente o uso de tokens em comparação com métodos globais de LLM. Para o Win95pts, o CauTion usou ~26k tokens, enquanto métodos globais como o SCP usaram mais de 3 milhões de tokens.

5. Significância e Alegações

O artigo afirma que o CauTion aborda o trade-off fundamental entre o alto risco de erro dos métodos globais de LLM e o viés dos métodos estatísticos de algoritmo único. Ao introduzir um mecanismo de calibração de confiança, o framework garante que o conhecimento de domínio do LLM seja aproveitado apenas quando a evidência estatística é insuficiente e quando o LLM está empiricamente calibrado para ser confiável para a tarefa específica.

Os autores afirmam que este trabalho avança a metodologia de descoberta causal, oferecendo um caminho para uma recuperação de estrutura mais confiável em domínios como medicina, epidemiologia e economia. Eles reconhecem limitações, observando que o ensemble atual utiliza um conjunto fixo de três algoritmos e que os experimentos foram conduzidos em benchmarks de variáveis discretas, deixando a generalização para dados de tipo contínuo ou misto para validação futura.