Resumo Técnico: PEARL – Reparo Auditável para Extração de Grafos de Raciocínio Científico

Declaração do Problema

A Extração de Grafos de Raciocínio Científico (SRGE) visa recuperar ligações estruturadas entre observações, evidências, alegações intermediárias e conclusões ao nível do artigo a partir da literatura científica. Embora os Grandes Modelos de Linguagem (LLMs) possam gerar explicações do tipo grafo com nós e arestas semanticamente úteis, seus outputs brutos frequentemente falham em atender aos padrões rigorosos exigidos por fluxos de trabalho científicos confiáveis. Modos comuns de falha incluem sintaxe malformada (ex: DOT inválido), deriva de rótulos de arestas, orientação incorreta de raízes, pontos finais ausentes e âncoras de origem fracas.

Abordagens atuais enfrentam um dilema: se o parsing, o reparo e a avaliação forem confluídos, os pipelines podem descartar material de grafo salvável ou regenerar silenciosamente grafos que não refletem mais o output original do modelo. Há uma carência de um framework que trate as respostas brutas de LLMs como material estrutural condicional para reparo, em vez de artefatos confiáveis, garantindo que a validade semântica esteja vinculada ao feedback do juiz e à reavaliação.

Metodologia: O Framework PEARL

O PEARL (Peircean Extraction via Abstraction and Repair Layer) é um framework livre de treinamento projetado para converter respostas de grafos de LLM ruidosas em grafos de raciocínio auditáveis e semanticamente válidos. Ele desacopla a admissibilidade estrutural da validade semântica através de um pipeline em estágios:

1. Contrato de Grafo Referenciado por Fonte

O PEARL define um grafo de raciocínio direcionado $\mathcal{G}=(p, \mathcal{V}, \mathcal{E}, r)$ onde:

• Nós contêm um identificador local, texto em linguagem natural e uma tupla de referência de fonte $(x, y, z)$ apontando para sentenças, pontos de vista ou opiniões específicas no artigo de origem.
• Arestas são tipadas usando uma taxonomia peirceana fechada: $\{ded-rule, ded-case, ind-common, ind-case, abd-phen, abd-know\}$.
• Restrições exigem rótulos de aresta fechados, pontos finais conhecidos, ausência de auto-loops e uma única raiz terminal. Uma "unidade de raciocínio" é definida como um nó alvo com arestas peirceanas de entrada válidas que formam um padrão coerente.

2. Materialização Estrutural com Tolerância (Estágio 1)

O pipeline extrai regiões do tipo grafo de respostas brutas e tenta um parsing DOT estrito. Se isso falhar, ele invoca um caminho de recuperação tolerante à sintaxe que aceita formas do tipo DOT, delimitadores soltos e campos explícitos de XML/plist, desde que os nós e arestas correspondentes estejam presentes na superfície da resposta. Crucialmente, este estágio não inventa nós científicos ausentes, não sintetiza arestas omitidas nem completa alegações parcialmente especificadas. O output é normalizado em uma representação de grafo canônica, separando o andaime de armazenamento (ex: raízes de agregação de engenharia) da visão de avaliação.

3. Reparo de Esquema Determinístico

Antes do julgamento semântico, o PEARL aplica reparos determinísticos para endereçar a corrupção de esquema:

• Canonicalização de aliases de rótulos de aresta para a taxonomia peirceana fechada.
• Desduplicação de elementos e remoção de pontos finais inválidos/auto-loops.
• Reparo da orientação da raiz baseado em regras de prioridade fixas.
• Registro de cada operação como metadados de auditoria.
  Se satisfazer as restrições estruturais exigir inferência não suportada, o pipeline registra uma falha tipada em vez de tratá-la como uma correção semântica.

4. Reparo Semântico por Feedback de Juiz (Estágio 2)

Este estágio opera sobre o grafo de origem liberado e a evidência do artigo correspondente:

• Avaliação: O sistema executa uma avaliação de fonte para obter o Aterramento de Conteúdo (CG) e a Precisão da Aresta de Raciocínio (REA), juntamente com decisões locais de juízes sobre unidades de raciocínio.
• Reparo Guiado por Votação: Âncoras de raciocínio majoritariamente corretas são mantidas como a espinha dorsal do grafo. Unidades rejeitadas (tipos de aresta, passos de raciocínio ou raízes) são reparadas com base no feedback de juiz local correspondente.
• Reavaliação: O grafo reparado é reavaliado sob o mesmo protocolo. Apenas componentes de raciocínio inalterados e previamente aceitos retêm votos limpos; todos os componentes reparados devem ser julgados novamente.

5. Portão Final e Auditoria de Proveniência

Um candidato é estritamente aceito apenas se satisfizer o portão final: CG = 1.0 e REA = 1.0.

• Amostras que falham neste portão recebem rótulos residuais tipados em vez de serem descartadas.
• A proveniência é auditada separadamente usando F1 de tokens e scores de contenção de nó-para-extensão contra o artigo de origem.
• O MiniCheck é usado como um suplemento externo para diagnósticos de aterramento de fonte, mas não é o portão de aceitação estrito.

Principais Contribuições

1. Framework de Materialização Livre de Treinamento: O PEARL define um método para converter respostas heterogêneas de grafos de LLM em artefatos auditáveis sob um esquema peirceano fechado sem necessidade de fine-tuning.
2. Mecanismo de Reparo por Feedback de Juiz: Introduz um processo de reparo para correção semântica onde passos de inferência local rejeitados, tipos de aresta e raízes terminais são corrigidos via operações locais registradas e reavaliados, evitando a regeneração total não restringida do grafo.
3. Validação Empírica: O framework é avaliado no benchmark ARCHE através de cinco arquivos distintos de LLM, demonstrando melhorias substanciais em validade semântica estrita e na liberação de outputs de grafos adequados para fluxos de trabalho de agentes de pesquisa.

Resultados Experimentais

A avaliação foi conduzida em 350 linhas (5 modelos $\times$ 70 artigos cada) do benchmark ARCHE, cobrindo Claude Sonnet 4.5, Gemini 3.1 Pro Preview, GPT-5.2, Grok 4.1 Thinking e Qwen3.5-397B-A17B.

• Passes no Portão Estrito: O baseline de LLM alcançou 0/350 passes. O PEARL melhorou isso para 300/350.
• Melhorias de Métricas:
  • O Aterramento de Conteúdo (CG) médio melhorou de 0.827 para 0.896.
  • A Precisão da Aresta de Raciocínio (REA) média melhorou significativamente de 0.339 para 0.906.
• Desempenho dos Modelos: O GPT-5.2 alcançou o maior desempenho, atingindo o portão estrito em 68/70 linhas com um REA final de 1.000. Outros modelos mostraram graus variados de melhoria, com todos partindo de zero passes de baseline para pelo menos 53 passes.
• Análise Residual: Das 50 linhas que falharam em passar, a causa primária foi a ausência de uma âncora de reparo confiável (31 linhas), seguida por falhas no portão métrico final (13 linhas). Isso indica que o gargalo reside frequentemente na recuperação de ligação de fonte upstream, e não no mecanismo de reparo em si.
• Estudos de Ablação: Remover a construção de raiz ou o feedback iterativo reduziu significativamente as taxas de passagem (ex: "Apenas Raiz" alcançou 102/350 passes vs. 300/350 para o PEARL completo), confirmando que erros de raciocínio local propagam-se para cima e não podem ser corrigidos apenas pelo reparo da raiz.

Significância e Alegações

O artigo afirma que o PEARL fornece uma "camada de confiabilidade" necessária para fluxos de trabalho de agentes de pesquisa e cientistas de IA que exigem traços de raciocínio inspecionáveis. Ao tratar os outputs brutos de LLM como material condicional para reparo em vez de artefatos confiáveis, o PEARL garante que:

• Os outputs de grafos não sejam apenas sintaticamente analisáveis, mas semanticamente válidos de acordo com um portão estrito.
• O processo de reparo preserva uma trilha de auditoria, distinguindo entre normalização estrutural e correção semântica.
• O framework evita o problema da "regeneração silenciosa", onde um pipeline pode produzir um grafo que não reflete mais o output original do modelo.

Os autores enfatem que, embora o PEARL melhore substancialmente a usabilidade dos grafos de raciocínio gerados por LLM, ele é atualmente limitado ao esquema peirceano ARCHE e arquivos de texto. A portabilidade para novos esquemas ou evidências multimodais exigiria validadores e verificações de evidência revisados. O trabalho conclui que outputs de grafos do tipo LLM exigem reparo auditado antes que possam ser integrados com segurança em fluxos de trabalho práticos de extração científica.