Grounded verification of chemical and materials reasoning: detection is the bottleneck

Resumo Técnico: Verificação Fundamentada de Raciocínio Químico e de Materiais

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) frequentemente confabulam objetos químicos e de materiais específicos e verificáveis (ex: fórmulas moleculares, grupos de espaço, energias de formação) dentro de traços de raciocínio fluentes. Esses erros concentram-se em entidades de "cauda longa" — compostos ou isótopos raramente vistos — onde a confiança do modelo é menos confiável. As intervenções existentes falham em abordar isso de forma eficaz: loops de autocorreção não podem fornecer fatos que o modelo desconhece, e o RAG (Geração Aumentada de Recuperação) generalizado incorre em altos custos de cobertura e frequentemente falha em detectar autocontradições envolvendo entidades desconhecidas. Além disso, a verificação do tipo "LLM-como-juiz" é não auditável e propensa à excessiva confiança. O desafio central é verificar e reparar essas alucinações sem a ineficiência de recuperar fatos para cada afirmação ou a falta de confiabilidade da autocorreção generativa.

Metodologia
Os autores propõem um verificador determinístico em camadas que opera dentro de um loop de correção com gatilho. O sistema decompõe o processo de verificação em dois estágios distintos: detecção e reparo.

1. Arquitetura de Verificação em Camadas: O verificador extrai afirmações vinculadas ao sujeito (pares nome, valor) do traço de raciocínio e as verifica contra bancos de dados autoritativos (PubChem, Materials Project, CCCBDB) e leis físicas. O processo segue uma escada de "verificação mais barata primeiro":
   • Camada 0: Verificações sintáticas (ex: higiene de SMILES/fórmulas).
   • Camada 1: Buscas de identidade em bancos de dados (ex: fórmulas moleculares no PubChem).
   • Camada 1.5: Verificações de propriedades tabeladas (ex: energias de formação no Materials Project) com uma política de "aceitar qualquer referencial" para lidar com incompatibilidades de referencial (ex: valores de DFT vs. valores experimentais).
   • Camada 3: Cálculos de Teoria do Funcional da Densidade (DFT) (não utilizados neste estudo, pois as camadas inferiores cobriram todas as afirmações).
2. Loop de Correção com Gatilho (Modo A): Se uma afirmação falha em uma verificação (um "alerta" é levantado), o verificador injeta o valor de referência correto diretamente no contexto do modelo e aciona uma regeneração apenas da afirmação sinalizada. Isso contrasta com o RAG generalizado, que recupera fatos incondicionalmente.
3. Estratégias Alternativas: O estudo compara o Modo A contra:
   • RAG de Oráculo Conversacional: Os fatos são fornecidos, mas o modelo responde livremente.
   • RAG Restrito: Os fatos são fornecidos com uma instrução para reestatizar o valor explicitamente.
   • Modo B (Reclassificação Best-of-8): Amostragem de múltiplas saídas e seleção da melhor baseada na consistência.
   • Autocrítica: Autocorreção sem ferramentas.
4. Mecanismos de Detecção: O estudo avalia extratores determinísticos contra detectores baseados em amostragem (verificações de consistência, entropia semântica) e LLM-como-juiz.

Principais Contribuições

1. A Detecção é o Gargalo: O artigo decompõe o loop de correção e demonstra que o reparo é fácil (taxas de sucesso de 80–97% uma vez que um alerta é disparado), mas a detecção de recall é o fator limitante. O aumento da precisão é governado pelo recall de detecção no loop, não pela capacidade ou abertura do modelo.
2. Superioridade sobre o RAG Conversacional: A correção com gatilho (Modo A) supera significativamente o RAG de oráculo conversacional na métrica de "intenção de tratar" (ITT) (respostas erradas ou não compromissórias) enquanto utiliza 3,2× menos recuperações. O RAG conversacional frequentemente falha porque os modelos falham em emitir valores extraíveis e vinculados ao sujeito, mesmo quando os fatos são fornecidos.
3. Fronteira de Escopo do Fundamentação: A fundamentação ao nível do objeto melhora a precisão do objeto, mas não melhora automaticamente a resposta final da tarefa. Aumentos de precisão em tarefas finais (ex: cálculo de massa molar) só ocorrem quando o escopo do verificador se estende à quantidade derivada (a resposta final) em si, não apenas ao objeto intermediário.
4. Transferibilidade e Margem de Melhoria: O método é portável para outros domínios (constantes físicas, meias-vidas de isótopos) com apenas mudanças na camada de orquestração. No entanto, aumentos de precisão ocorrem apenas onde existe erro de cauda longa extraível. Em domínios próximos ao teto (constantes físicas, compostos bem conhecidos), o método não mostra aumento ou causa danos menores devido a falsos positivos. Em domínios de cauda longa (meias-vidas de isótopos, materiais raros), observam-se aumentos significativos.
5. Artefatos de Referencial: O estudo identifica que a verificação quantitativa ingênua falha quando as saídas do modelo e os bancos de dados de referência usam diferentes referenciais físicos (ex: PBE-DFT vs. gaps de banda experimentais). Uma política de "aceitar qualquer referencial" é necessária para evitar sinalizar valores experimentais corretos como erros.

Resultos

• Fórmulas Moleculares: A correção com gatilço reduziu o erro de fórmula comprometida de 22% para 4% em quatro modelos. Alcançou 82% de recall de detecção no loop.
• Energia de Formação: O recall de detecção foi menor (19%) devido à dificuldade de extração de valores, resultando em uma redução de erro menor, porém significativa (31% para 24%). Uma segunda etapa de detecção disparada por consistência aumentou o recall para ~94%, mas falhou em melhorar a precisão porque sinalizou erros sem injetar um valor de referência, forçando o modelo a reamostrar valores incorretos.
• Propagação para Tarefa Final: A fundamentação apenas do objeto não melhorou a precisão da tarefa final (83% de baseline vs. 80% no Modo A). Adicionar uma camada de quantidade derivada (verificando a resposta calculada final) restaurou o aumento, elevando a precisão agregada para 90%.
• Transversalidade de Domínio:
  • Constantes Físicas: Sem aumento significativo (desempenho próximo ao teto).
  • Meias-vidas de Isótopos: Aumento significativo em isótopos de cauda longa (S4: 44% para 76% de precisão), confirmando que o método funciona onde existe massa real de erro de cauda longa.
• Eficiência de Custo: A correção com gatilho é significativamente mais barata que o RAG generalizado e a reclassificação Best-of-8, recuperando fatos apenas para as afirmações sinalizadas.

Significância e Alegações
O artigo afirma redefinir a fundamentação de verificação em loop como um problema limitado pela detecção, e não pelo reparo. O principal alvo de engenharia é melhorar o recall de detecção no loop e a robustez da extração, não o mecanismo de reparo em si. Os autores afirmam que sua abordagem fornece uma alternativa determinística, auditável e de custo-benefício tanto para o RAG generalizado quanto para a verificação de LLM-como-juiz.

O estudo enfatiza que a fundamentação melhora as respostas finais apenas quando o escopo do verificador atinge o entregável e apenas onde o modelo base carrega erro de cauda longa extraível. O método é apresentado não como uma solução universal para todas as alucinações, mas como uma camada de confiabilidade especializada para domínios científicos onde objetos específicos e verificáveis são propensos à confabulação. Os autores disponibilizam um corpus congelado, o ground truth e o pipeline para garantir a reprodutibilidade, observando que cada número de destaque é derivado sob uma disciplina de holdout de etapa única.