CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

Resumo Técnico: CheckSupport

Declaração do Problema
Relatórios transparentes e padronizados são críticos para a reprodutibilidade da pesquisa científica, contudo a adesão às diretrizes de relato (por exemplo, CONSORT, PRISMA, STARD) permanece inconsistente. As principais barreiras são o esforço manual substancial e a expertise de domínio exigidos para identificar a lista de verificação adequada para um estudo específico e completá-la com precisão. Soluções automatizadas existentes frequentemente dependem de Modelos de Linguagem de Grande Escala (LLMs) baseados em nuvem, levantando preocupações significativas quanto à privacidade de dados, custos, reprodutibilidade e acessibilidade a longo prazo. Além disso, aplicações atuais de LLMs na ciência frequentemente focam na síntese de texto generativo, o que pode não alinhar-se com a necessidade de extração fiel e fundamentada em evidências no relato científico.

Metodologia
Os autores apresentam o CheckSupport, uma ferramenta de linha de comando de código aberto e implantável localmente, projetada para automatizar a seleção e a conclusão de listas de verificação. O sistema opera inteiramente offline usando o framework Ollama, garantindo que os dados do manuscrito nunca saiam do hardware local do usuário.

• Arquitetura e Fluxo de Trabalho: O sistema segue um pipeline modular: ingestão do manuscrito (PDF/DOCX/Texto) $\rightarrow$ identificação da lista de verificação $\rightarrow$ análise sintática da lista de verificação $\rightarrow$ extração de conteúdo $\rightarrow$ geração de relatório. Ele suporta tanto diretrizes padronizadas quanto listas de verificação personalizadas definidas pelo usuário.
• Estratégia de Prompting em Etapas: Em vez de usar LLMs como geradores de forma livre, o CheckSupport os trata como componentes de inferência restritos. O processo é decomposto em quatro etapas sequenciais:
  1. Recomendação de Lista de Verificação: Uma tarefa de classificação de rótulo único com um único exemplo (one-shot), onde o modelo seleciona uma lista de verificação de uma lista fixa com base em um trecho truncado do manuscrito (os primeiros 2.000 caracteres).
  2. Pré-processamento e Geração de Orientação: O modelo infere orientações gerais e específicas por seção sobre quais informações buscar, usando uma temperatura mais alta (0,7) para elicitar conselhos descritivos.
  3. Extração de Texto ao Nível de Seção: O sistema extrai porções relevantes do manuscrito para cada seção da lista de verificação usando janelas fixas de 5.000 caracteres.
  4. Geração de Resposta ao Nível de Item: Para cada item da lista de verificação, o modelo gera uma resposta com base no texto do item, nas instruções analisadas e no conteúdo da seção previamente extraído.
• Controles de Inferência: Para priorizar precisão e reprodutibilidade, o sistema emprega temperaturas baixas para classificação (0,2) e extração (0,3–0,5), usa janelas de contexto fixas para evitar dependência de modelos de contexto estendido e impõe restrições estritas de saída. Ele permite e encoraja explicitamente respostas "nulas" quando a informação está ausente para prevenir alucinações.
• Configuração do Modelo: O sistema é agnóstico ao modelo, mas usa como padrão modelos ajustados a instruções como o Llama 3.1, capazes de rodar em hardware de nível de consumidor apenas com CPU.

Contribuições Principais

• Framework de Execução Local: O CheckSupport fornece uma alternativa totalmente local e que preserva a privacidade às ferramentas de IA baseadas em nuvem, abordando preocupações de segurança de dados em ambientes de pesquisa sensíveis.
• Abordagem de Inferência Estruturada: O artigo introduz uma metodologia de prompting em etapas que decompõe tarefas complexas de relato em etapas de inferência restritas, priorizando a extração fiel sobre a fluência generativa.
• Implementação de Código Aberto: A ferramenta é lançada como software de código aberto, permitindo transparência, auditoria e adaptação a vários padrões de relato.
• Dupla Funcionalidade: Automatiza tanto a seleção da diretriz de relato correta quanto a conclusão fundamentada em evidências dessa diretriz.

Resultados
Avaliado em um corpus de 100 manuscritos revisados por pares (indexados sob "IA em radiologia" de 2025), o CheckSupport demonstrou o seguinte desempenho em hardware apenas com CPU:

• Recomendação de Lista de Verificação: Alcançou 90% de precisão geral. O desempenho variou por categoria: 86,7% para estudos complexos "Tipo A" (novas estruturas de LLM/ajuste fino), 100% para estudos "Tipo B" (aplicações práticas) e 80% para manuscritos onde nenhuma lista de verificação era aplicável.
• Conclusão de Lista de Verificação: Alcançou 88% de precisão geral ao nível de item. A precisão foi maior para manuscritos "Tipo B" (93,3%) em comparação com "Tipo A" (80,0%).
• Tempo de Execução: O tempo médio de relógio por manuscrito foi de 12,5 segundos, incluindo tanto a recomendação quanto a conclusão completa.
• Análise de Erros: Os erros derivaram principalmente de linguagem ambígua no manuscrito, relato incompleto no texto fonte ou informações fora das janelas de contexto delimitadas. Notavelmente, o sistema produziu nenhum caso de conteúdo não suportado ou fabricado, sinalizando com sucesso informações ausentes como respostas nulas.

Significado e Alegações
Os autores posicionam o CheckSupport não como uma ferramenta para gerar conteúdo científico, mas como infraestrutura para governança de pesquisa. O artigo alega que, ao transferir o ônus da conformidade com listas de verificação do esforço manual para uma automação assistiva e estruturada, o sistema apoia um relato científico mais transparente e reprodutível.

Alegações principais sobre o significado incluem:

• Reenquadramento da Utilidade de LLMs: O trabalho demonstra que LLMs podem ser efetivamente utilizados para suporte metodológico e extração rigorosa, em vez de geração narrativa.
• Privacidade e Confiança: Ao operar localmente, o sistema aborda preocupações crescentes sobre vazamento de dados e dependências proprietárias, fomentando confiança institucional.
• Humano no Comando: Os autores enfatizam que o sistema foi projetado para aumentar, e não substituir, a supervisão humana. Ele torna as lacunas de relato explícitas em vez de preenchê-las implicitamente, permitindo que pesquisadores e revisores se concentrem em áreas que exigem julgamento especializado.
• Mudança Cultural: A ferramenta visa reduzir a barreira para a conclusão de listas de verificação, potencialmente reduzindo a fadiga dos revisores e incentivando a visão das diretrizes de relato como componentes integrais do processo de pesquisa, em vez de obrigações administrativas.