Resumo Técnico: RegCheck – Uma Ferramenta para Comparações Estruturadas entre Registros de Estudos e Artigos

Declaração do Problema

Apesar dos benefícios reconhecidos do registro de estudos para a transparência e o rigor científico, a prática de comparar os registros de estudos com seus artigos finais publicados permanece rara. Esta lacuna existe porque a comparação manual é um processo laborioso e demorado, que exige uma leitura cuidadosa entre diferentes formatos e expertise de domínio. Consequentemente, desvios dos planos registrados (por exemplo, alternância de desfechos, mudanças no tamanho da amostra ou desvios de análise) frequentemente passam despercebidos por autores, revisores e editores.

Embora os Modelos de Linguagem de Grande Escala (LLMs) Generativos ofereçam uma solução potencial para a automação, o uso ad hoc de interfaces de chat comerciais é insuficiente para a avaliação de pesquisa formal. Os autores identificam seis limitações críticas do uso direto de prompts em LLMs:

1. Flexibilidade Analítica: O output varia significativamente com base no fraseado do prompt, formatação e parâmetros do modelo, dificultando a padronização e a reprodutibilidade.
2. Limitações de Interface: Interfaces de chat comerciais restringem hiperparâmetros críticos (ex: temperatura, prompts de sistema) e carecem de estabilidade, uma vez que os provedores podem alterar os modelos subjacentes sem aviso prévio.
3. Privacidade de Dados: O upload de manuscritos não publicados para interfaces comerciais gera riscos de retenção de dados e uso para treinamento, violando as expectativas de confidencialidade da revisão por pares.
4. Dependências Indesejadas: A geração sequencial em contextos de chat cria dependências entre dimensões (ex: um erro ao julgar hipóteses pode se propagar para a análise estatística), impedindo a avaliação independente de dimensões específicas.
5. Conflito de Tarefas: Delegar a ingestão, definição, extração e adjudicação a uma única chamada de LLM obscurece o desempenho das etapas individuais.
6. Verificabilidade: Os LLMs podem "alucinar" ou fornecer alegações sem citações sistemáticas, tornando difícil para os usuários verificar a origem de um julgamento sem uma releitura manual.

Metodologia: O Framework IDEA e a Arquitetura Parity

Para abordar essas limitações, os autores introduzem o RegCheck, uma ferramenta modular de código aberto construída sobre uma arquitetura mais ampla chamada Parity. A Parity implementa o framework IDEA, um fluxo de trabalho conceitual de quatro etapas projetado para manter distintos os passos de entrada, recuperação de evidências e julgamento:

1. Ingestão (Ingestion): Documentos (registros e artigos) são coletados e analisados usando métodos determinísticos (ex: APIs JSON para registros, parsers de PDF especializados como GROBID ou DPT-2 para manuscritos). Isso garante a integridade do texto e lida com artigos de múltiplos estudos, isolando as seções relevantes.
2. Definição (Definition): Os usuários definem explicitamente as dimensões da comparação (ex: tamanho da amostra, desfechos primários). Esta etapa é conduzida por humanos, permitindo presets específicos de disciplina (ex: clínico/médico, psicologia) ou definições personalizadas.
3. Extração (Extraction): O texto relevante é recuperado usando embeddings semânticos. Os documentos são fragmentados (alinhados com limites de sentenças/seções), transformados em vetores e consultados contra as definições das dimensões usando similaridade de cosseno. Uma busca híbrida por palavras-chave suplementa este processo para garantir que fragmentos de alto valor não sejam perdidos.
4. Adjudicação (Adjudication): Um LLM generativo é invocado apenas nesta etapa. Ele recebe os trechos de evidência extraídos e a definição da dimensão para produzir um julgamento estruturado (Desvio, Sem Desvio ou Evidência Insuficiente) com uma justificativa. Crucialmente, cada dimensão é adjudicada em uma chamada separada para evitar a contaminação cruzada de erros.

Implementação do Fluxo de Trabalho RegCheck:
A ferramenta operacionaliza o IDEA em um pipeline de seis estágios:

• Ingestão e Preparação: Parsing e normalização de texto, remoção de referências e tratamento de referências cruzadas dentro dos artigos.
• Embedding e Indexação: Criação de representações vetoriais de fragmentos de texto usando modelos neutros de provedor (suportando implantação local).
• Definição: Seleção ou criação de conjuntos de dimensões.
• Extração e Adjudicação: Recuperação de evidências, sumarização e geração de vereditos.
• Relatórios: Geração de relatórios interativos e compartilháveis (via IDs únicos) apresentando uma visualização de "Visão Geral" (vereditos codificados por cores com justificativas) e uma visualização de "Evidência" (texto de origem lado a lado com trechos destacados).

O sistema suporta tanto uma interface web quanto uma Interface de Linha de Comando (CLI). A CLI permite a execução totalmente local (usando modelos de embedding e LLM locais) para maximizar a privacidade e a segurança, e inclui um "modo de consenso" que executa múltiplas chamadas de adjudicação para mitigar a estocasticidade.

Principais Contribuições

1. Software RegCheck: Uma ferramenta funcional e de código aberto (disponível em regcheck.app e GitHub) que automatiza comparações estruturadas entre registro e artigo, mantendo a supervisão humana.
2. O Framework IDEA: Um modelo conceitual para decompor tarefas de comparação metacientíficas em etapas distintas e modulares (Ingestão, Definição, Extração, Adjudicação), esclarecendo onde os LLMs são e não são apropriados.
3. Fluxo de Trabalho Verificável: Um design que garante que todos os julgamentos de LLM sejam diretamente apoiados por trechos de texto literais e determinísticos, permitindo que os usuários verifiquem alegações de forma trivial.
4. Arquitetura Preservadora de Privacidade: Suporte para implantação local e modelos de pesos abertos, abordando as preocupações de confidencialidade inerentes à revisão por pares.
5. Presets Específicos de Disciplina: Conjuntos de dimensões pré-configurados para várias áreas (clínica, psicologia, economia) que se alinham às normas de reporte específicas de cada domínio.

Resultados e Status de Avaliação

O artigo não apresenta resultados empíricos finais de larga escala quantificando a precisão do RegCheck contra uma verdade fundamental (ground truth), uma vez que a avaliação sistemática está em andamento. Em vez disso, os autores fornecem:

• Um Exemplo Prático: Uma comparação hipotética de um ensaio clínico demonstrando a capacidade da ferramenta de identificar desvios claros (ex: alternância de desfecho de contínuo para dicotômico), desvios sutis (ex: mudanças no limiar de função renal de 30 para 45 mL/min) e casos de evidência insuficiente.
• Testes Anecdóticos: Testes preliminares realizados pela equipe de pesquisa sugerem que a ferramenta é precisa na extração e apta a capturar desvios perdidos por humanos, incluindo mudanças numéricas sutis e trocas de desfechos não declaradas.
• Estratégia de Avaliação: Os autores delineiam um plano de avaliação rigoroso focado em:
  • Acordo entre Avaliadores: Comparar o desempenho do RegCheck contra avaliadores humanos para estabelecer a "não-inferioridade" (ou seja, o RegCheck deve concordar com humanos tanto quanto os humanos concordam entre si).
  • Benchmarks Artificiais: Usar textos gerados por LLM com inconsistências injetadas para testar a precisão contra verdades fundamentais conhecidas.

Significância e Alegações

Os autores posicionam o RegCheck não como um substituto para a expertise humana, mas como uma ferramenta para reduzir a barreira prática da comparação entre registro e artigo. Sua significância reside em:

• Integração Rotineira: Tornar as verificações de consistência uma parte viável dos fluxos de trabalho de autores, revisão por pares e avaliação pós-publicação, maximizando assim a utilidade dos registros de estudos.
• Padronização: Fornecer um método reprodutível, transparente e verificável para comparar artefatos de pesquisa, abordando as inconsistências do uso ad hoc de LLMs.
• Confiabilidade: Aumentar a capacidade da comunidade científica de distinguir entre planos pré-registrados e decisões post-hoc, o que é crítico para avaliar o risco de viés e a robustez das afirmações científicas.

O artigo conclui que, ao decompor a tarefa de comparação e manter o julgamento humano "no loop" para definição e verificação final, o RegCheck visa transformar uma tarefa raramente realizada e laboriosa em um componente rotineiro e eficiente da prática científica.