Disagreement as a signal: an auditable dual-LLM and human-arbitrated workflow for methodological quality assessment in preclinical complex-intervention evidence

Resumo Técnico: O Desacordo como um Sinal em Fluxos de Trabalho de Dual-LLM Auditáveis

Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) em fluxos de trabalho de síntese de evidências está se acelerando, porém sua aplicação para avaliação da qualidade metodológica permanece desafiadora. Diferente da simples extração de informações, a avaliação de qualidade envolve julgamentos complexos sobre fatores não específicos, controles de domínio específico e regras de pontuação dependentes de contexto. A literatura atual sugere que, embora os LLMs possam auxiliar na triagem ou extração, eles não podem substituir autonomamente os avaliadores humanos em tarefas de julgamento de alto risco sem comprometer a confiabilidade. Existe uma lacuna crítica na falta de um fluxo de trabalho claramente definido e auditável que utilize LLMs para a pré-pontuação, mantendo a supervisão humana, particularmente para intervenções complexas como estudos animais pré-clínicos, onde as condições de controle devem corresponder a fatores não específicos específicos (ex: calor, fumaça, contenção).

Metodologia
Os autores desenvolveram e pilotaram um fluxo de trabalho de pré-pontuação de dual-LLM auditável e arbitrado por humanos. O processo foi estruturado da seguinte forma:

1. Preparação do Corpus: Foram selecionados 16 estudos animais de texto completo sobre moxabustão para fadiga induzida pelo exercício. Os PDFs foram convertidos para Markdown usando o MinerU para aumentar a legibilidade por máquina.
2. Extração Estruturada de Evidências: As evidências foram extraídas para tabelas estruturadas contendo arquivos de origem, números de linhas originais, trechos literais e justificativas de extração para garantir a procedência.
3. Pré-pontuação de Dual-LLM: Dois ambientes de LLM interativos independentes processaram os mesmos pacotes de evidências e regras de pontuação pré-especificadas. Eles geraram pontuações iniciais, localizações de evidências e justificativas.
4. Gatilhos de Arbitragem:
   • Rota de Discrepância: Itens com diferenças de pontuação ($\Delta \ge 1$), evidências ambíguas ou julgamentos de fronteira foram encaminhados para arbitragem humana.
   • Rota de Concordância: Itens onde ambos os LLMs concordaram não foram aceitos como verdade fundamental (ground truth), mas foram submetidos a uma revisão amostral por pesquisadores humanos para detectar classificações incorretas compartilhadas.
   • Revisão de Terceiros: Itens de fronteira cruciais passaram por revisão independente adicional.
5. Frameworks de Pontuação: O fluxo de trabalho aplicou três arquiteturas:
   • SYRCLE: 9 itens (Risco de Viés).
   • ARRIVE 2.0: 12 itens (Qualidade de Relato).
   • Framework Específico de Moxabustão (MSF): 10 itens (Qualidade operacional de intervenção complexa, focando em design de controle, reprodutibilidade de dose e segurança).

Principais Resultados

• Métricas do Fluxo de Trabalho: O fluxo de trabalho gerou 496 avaliações ao nível de item. Os dois LLMs alcançaram 79,2% de concordância exata (393 itens) e 20,8% de desacordo (103 itens). Todos os itens discrepantes foram arbitrados por humanos.
• Valor da Intervenção Humana:
  • Entre os 50 itens concordantes amostrados, 48 foram confirmados e 2 foram corrigidos (taxa de confirmação de 96,0% dentro da amostra, não de precisão global).
  • A arbitragem humana resolveu as discrepâncias retornando à cadeia de evidências; a decisão final coincidiu com o LLM A em 73,8% dos casos, com o LLM B em 23,3% e diferiu de ambos em 2,9%.
  • A revisão de terceiros identificou e corrigiu 8 inconsistências sistemáticas de pontuação.
• Padrões de Desacordo: Os desacordos concentraram-se em itens dependentes de contexto e de fronteira de domínio, incluindo critérios de inclusão/exclusão, relato de desfechos, características de base, interpretação de especificidade e a correspondência de controles de fixação/ambiente e controles sham.
• Insights Metodológicos: A matriz estruturada revelou fraquezas recorrentes no corpus: insuficiência de controles sham ou de não-acuponto, inadequação de correspondência térmica/de fixação, reprodutibilidade de dose incompleta (temperatura, distância) e relato de segurança fraco.
• Comparação de Construtos: As pontuações percentuais do MSF excederam as pontuações do SYRCLE em todos os 16 estudos (média $\Delta = +23,9$ pontos percentuais). Essa diferença foi impulsionada principalmente pela avaliação do MSF sobre dose e reprodutibilidade operacional, construtos não capturados por ferramentas genéricas de risco de viés.

Principais Contribuições

1. Design de Fluxo de Trabalho Auditável: O estudo propõe um fluxo de trabalho transferível onde os LLMs são limitados à localização de evidências, pré-pontuação e exposição de discrepâncias, em vez de avaliação autônoma. Os componentes centrais — procedência estruturada, arbitragem disparada por discrepância de dual-modelo, revisão amostral de itens acordados e revisão independente de terceiros — são projetados para serem agnósticos ao domínio.
2. O Desacordo como um Sinal: O artigo reformula o desacordo entre LLMs não como ruído ou falha, mas como um sinal de alto valor que indica requisitos de julgamento complexos ou evidência insuficiente, direcionando efetivamente o esforço humano para os itens mais críticos.
3. Framework Específico de Domínio (MSF): O desenvolvimento do MSF demonstra como ferramentas genéricas (SYRCLE/ARRIVE) podem ser complementadas por frameworks específicos de intervenção para capturar pontos cegos operacionais (ex: reprodutibilidade de dose térmica na moxabustão) que as ferramentas genéricas perdem.

Significância e Alegações
Os autores posicionam este estudo como um piloto metodológico, e não como uma validação definitiva da precisão de LLMs.

• Papel dos LLMs: O estudo alega que os LLMs são ferramentas eficazes para estruturar pistas metodológicas dispersas e expor incertezas dentro de uma cadeia de evidências rastreável, mas devem permanecer auxiliares à arbitragem humana.
• Limitações: Os autores declaram explicitamente que a taxa de confirmação de 96% nos itens concordantes amostrados não equivale à precisão geral do modelo, uma vez que não foi estabelecido um padrão-ouro de dupla verificação humana totalmente independente. O MSF está em estágio de piloto e requer validação externa para confiabilidade e validade.
• Generalização: Os componentes do fluxo de trabalho são alegados como transferíveis para outras intervenções complexas (ex: acupuntura, cirurgia), desde que especialistas do domínio definam itens de pontuação e regras de fronteira específicos antes da implementação.
• Conclusão: A principal contribuição é a demonstração de que um fluxo de trabalho de dual-LLM, quando acoplado a uma rigorosa arbitragem humana e rastreamento de procedência, pode gerar matrizes de itens auditáveis e comparáveis que revelam padrões metodológicos recorrentes em pesquisas de intervenções complexas que poderiam, de outra forma, permanecer ocultos.