Resumo Técnico: ReplaySCM

Declaração do Problema

As atuais avaliações de raciocínio causal para modelos de linguagem grandes (LLMs) avaliam predominantemente saídas locais, como respostas a perguntas causais específicas, valores contrafactuais previstos ou arestas individuais de grafos. Embora úteis, essas tarefas não verificam se um sistema pode sintetizar um modelo causal reutilizável e executável capaz de generalizar sob novas intervenções não vistas.

Este artigo apresenta o ReplaySCM, uma avaliação projetada para avaliar a indução de mecanismos causais executáveis a partir de evidências intervencionais finitas. O desafio central é induzir um Modelo Causal Estrutural (SCM) que, quando "reproduzido" tanto em mundos de treinamento quanto em mundos de intervenção retidos, produza um comportamento semanticamente idêntico à verdade fundamental, independentemente da forma sintática das fórmulas induzidas.

Metodologia

Design da Avaliação

O ReplaySCM consiste em 1.300 itens gerados a partir de SCMs booleanos acíclicos, totalmente observados, binários e finitos.

• SCM Latente: Cada problema é fundamentado em um SCM latente onde os mecanismos endógenos são expressões booleanas sobre raízes observadas e outras variáveis endógenas.
• Mundos de Intervenção: A avaliação fornece múltiplos mundos de treinamento gerados pela execução do SCM latente sob intervenções rígidas (fixação de variáveis em valores específicos). Um conjunto de mundos retidos é mantido de lado para avaliação.
• Formato de Saída: Os modelos devem mapear um mecanismo em uma Linguagem Específica de Domínio (DSL) booleana restrita, contendo os operadores not, and, or, xor e iff.
• Protocolo de Avaliação: O avaliador analisa a submissão, verifica a legalidade e a aciclicidade, e reproduz o SCM submetido nos mundos de treinamento e retidos.
  • Pontuação: A pontuação é atribuída com base no comportamento de reprodução semântica, não em correspondência de strings. Qualquer SCM executável que induza a tabela-verdade correta nos mundos pontuados é considerado correto, mesmo que suas fórmulas booleanas difiram sintaticamente do padrão-ouro.

Escada de Divulgação Estrutural

A avaliação varia a informação estrutural divulgada ao modelo para isolar capacidades específicas de raciocínio:

1. Ordenado (Ord-Full): Revela a ordem topológica completa.
2. Bloco-ordenado: Revela blocos de precedência grosseiros, mas oculta a ordem intra-bloco.
3. Ordem-oculta: Revela a partição raiz/endógena, mas oculta a ordem endógena.
4. Raízes-ocultas: Oculta tanto a ordem quanto o conjunto de raízes, exigindo que o modelo preveja primeiro o conjunto de raízes.

Redução de Ambiguidade e Auditoria de Suporte

Para abordar a natureza subdeterminada da evidência finita, os autores empregam uma escada de auditoria de suporte de três níveis:

• Original: Mundos de treinamento padrão.
• Mundos Adicionais: Adiciona 3–4 mundos de treinamento simulados pelo padrão-ouro para aumentar a cobertura de padrões de predecessores locais (de ~0,89 para ~0,98).
• Auditoria de Contraexemplo (CEx): Adiciona ainda mais mundos para alcançar cobertura local completa (1,0) e visa especificamente alternativas semânticas descobertas. No CEx, nenhuma alternativa descoberta por LLMs, busca exata simbólica ou buscas bnlearn+DSL permanece consistente com os mundos de treinamento.

Tarefas Suplementares

• SCM-Alternativo: Dado um SCM de referência válido, o modelo deve encontrar uma alternativa semanticamente distinta que se ajuste aos mundos de treinamento e fornecer uma intervenção separadora e um testemunho.
• Linhas de Base Não-LLM: Inclui bnlearn+DSL (proposta de estrutura + ajuste booleano exato) e busca exata simbólica (busca direta por mecanismos booleanos) para calibrar a dificuldade da tarefa.

Contribuições Principais

1. Avaliação de Indução de SCM Executável: Apresenta uma avaliação lançada publicamente, avaliada por reprodução exata em mundos de treinamento e retidos, indo além da pontuação de respostas locais.
2. Escada de Estrutura Revelada Correspondente: Organiza a avaliação para isolar o impacto da divulgação estrutural (Ordenado vs. Ordem-oculta vs. Raízes-ocultas) nos mesmos SCMs latentes.
3. Controle de Ambiguidade: Implementa um gerador que filtra atalhos triviais e rastreia a ambiguidade residual por meio de filtros de suporte, auditorias limitadas e a escada de auditoria de suporte de três níveis (Original, Mundos Adicionais, CEx).
4. Avaliação Abrangente: Compara LLMs de ponta contra avaliadores compartilhados e linhas de base não-LLM, fornecendo uma visão calibrada da dificuldade da indução de mecanismos executáveis.

Resultados

A Indução de Mecanismos Executáveis Permanece Não Resolvida

LLMs de ponta (por exemplo, GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) performam muito abaixo da reprodução exata perfeita.

• TrainExact vs. HeldoutExact: Embora alguns modelos alcancem alta validade e inferência parcial da estrutura de pais, o HeldoutExact (reprodução estrita em todos os mundos retidos) permanece baixo, particularmente em configurações de Ordem-oculta.
• A Lacuna "Train-Exact": Respostas que não se ajustam aos mundos de treinamento quase invariavelmente falham nos mundos retidos. No entanto, mesmo respostas que são TrainExact (ajustam-se exatamente a todos os mundos de treinamento) frequentemente falham nos mundos retidos, indicando que ajustar-se aos dados observados não garante o mecanismo subjacente correto.

Impacto da Informação Estrutural

O desempenho degrada-se significativamente à medida que a informação estrutural é retida:

• Ordenado vs. Ordem-oculta: Há uma queda substancial no desempenho quando a ordem topológica é oculta. Por exemplo, no conjunto de Ordem-oculta, o GPT-5.4 alcança um TrainExact de 0,628, mas cai para 0,292 no HeldoutExact.
• Raízes-ocultas: O desempenho colapsa quando o conjunto de raízes é oculto, pois o modelo deve prever simultaneamente o conjunto de raízes e induzir mecanismos.

Estrutura Semântica vs. Mecanismo Exato

• Inferência Parcial: Os modelos frequentemente inferem relações informativas pai-funcional (alto F1 de Pai), mas falham em corresponder ao mapa de pais exato ou aos mecanismos locais necessários para a reprodução completa.
• SCM-Alternativo: Quando um SCM de referência válido é fornecido, o desempenho na busca por alternativas semanticamente distintas é significativamente maior do que a inferência do SCM a partir do zero. Isso sugere que a edição local de um objeto causal é mais fácil do que a inferência global a partir de dados intervencionais.

Achados da Auditoria de Suporte

• Mundos Adicionais: O aumento dos dados de treinamento melhora a reprodução retida e reduz a lacuna entre treinamento e retido, mas a lacuna de desempenho Ordenado/Ordem-oculta persiste.
• Auditoria de Contraexemplo (CEx): Mesmo após adicionar mundos para eliminar todas as alternativas descobertas por LLMs e busca simbólica, a configuração de Ordem-oculta permanece mais difícil do que a Ordenada. Isso indica que a dificuldade não é devida apenas à ambiguidade de amostras finitas, mas reflete um desafio fundamental na inferência de estrutura oculta.

Significado e Alegações

O artigo afirma que o ReplaySCM complementa as avaliações existentes em nível de resposta e descoberta de grafos ao avaliar a generalização de objetos causais executáveis.

• Separação de Capacidades: A avaliação demonstra uma separação clara entre "descrever a estrutura causal" (inferir dependências) e "construir um objeto causal que possa ser executado" (sintetizar mecanismos que generalizam). Os modelos podem produzir explicações plausíveis ou conjuntos de arestas, mas falham quando seus mecanismos propostos são reproduzidos sob novas intervenções.
• Estrutura Oculta é Difícil: A principal descoberta empírica é que inferir estrutura oculta (ordem ou raízes) é significativamente mais difícil do que produzir um objeto de resposta válido ou ajustar mecanismos locais isolados.
• Nenhuma Alegação de Unicidade: Os autores afirmam explicitamente que o ReplaySCM não alega provar a identificação única do SCM latente. Em vez disso, fornece um ambiente de teste controlado para avaliar a generalização de reprodução executável a partir de evidências intervencionais finitas, usando auditorias de ambiguidade limitada para descartar atalhos fáceis de amostras finitas.

O trabalho sugere que, embora LLMs de ponta possam inferir estruturas de dependência parciais, eles lutam para montar os mapas de pais exatos e mecanismos booleanos necessários para simulação causal robusta, uma lacuna que persiste mesmo com evidências mais fortes e priores estruturais.