sciwrite-lint: Verification Infrastructure for the Age of Science Vibe-Writing

Título: sciwrite-lint: Infraestrutura de Verificação para a Era da "Vibe-Writing" Científica

1. O Problema: A Crise de Garantia de Qualidade na Ciência

O artigo identifica que o ecossistema científico atual oferece apenas duas opções de garantia de qualidade, ambas inadequadas na era da Inteligência Artificial (IA):

• Gatekeeping de Jornais: A revisão por pares é lenta, enviesada e falha em detectar erros fundamentais (como citações fabricadas). O sistema mede prestígio e citações, não a integridade real ou a contribuição do trabalho.
• Ciência Aberta: Servidores de pré-prints e repositórios abertos não possuem processos de revisão. A única barreira entre o texto gerado por IA e o registro público é a integridade do autor.

O Agravante da IA: A "Science Vibe-Writing" (aceitação de texto gerado por IA por sua fluidez, sem verificação sistemática) acelera a produção de artigos, superando a capacidade de absorção dos sistemas existentes. Modelos de IA locais (privacidade) tendem a alucinar mais referências do que modelos em nuvem, enquanto ferramentas de detecção de IA focam em "quem escreveu" e não em "o que está escrito".

Definição do Problema: Não existe uma ferramenta que verifique a própria estrutura do artigo: se as evidências são reais, se as citações suportam as alegações e se a cadeia de evidências está intacta.

2. Metodologia: A Pipeline de Verificação sciwrite-lint

O sciwrite-lint é uma ferramenta de linting (verificação de código/texto) de código aberto, totalmente local e instalável via pip. Ela opera em uma máquina do pesquisador (GPU de consumidor, bancos de dados públicos) sem enviar manuscritos para serviços externos.

A arquitetura segue um pipeline estruturado (não agêntico) em seis etapas principais:

1. Análise de Figuras e Consistência Textual:
   • Um modelo de visão-linguagem (Qwen3-VL, 2B ou 8B) extrai descrições estruturadas de todas as figuras.
   • Realiza verificações determinísticas (citações órfãs, referências quebradas) e verificações semânticas (contradições entre seções, promessas estruturais não cumpridas).
2. Verificação de Referências (API):
   • Identificadores estruturados (DOI, arXiv, PMID) são verificados via chamadas determinísticas.
   • Cruzamento com o banco de dados Retraction Watch para identificar artigos retratados.
   • Validação de conflitos de identificadores (ex: DOI apontando para um artigo diferente do arXiv ID).
3. Download e Parsing:
   • PDFs de artigos citados são baixados de fontes de acesso aberto e processados via GROBID para extração de texto estruturado e bibliografias.
   • Embeddings semânticos são gerados para recuperação de informações.
4. Verificação de Consistência dos Artigos Citados:
   • O pipeline executa as mesmas verificações de consistência e figuras nos artigos citados (um nível de profundidade na rede de citações).
5. Verificação de Alegações (Claims) e Bibliografias:
   • Verificação de Alegações: Cada alegação no manuscrito é comparada com as seções relevantes do artigo citado usando recuperação KNN e um LLM para determinar se o suporte existe.
   • Verificação de Bibliografias: As referências dos artigos citados são verificadas em massa para detectar taxas de alucinação e metadados incorretos.
6. Agregação de Pontuação:
   • Gera uma pontuação de confiabilidade por referência, agregando sinais de metadados, consistência e suporte de alegações.

Arquitetura Técnica:

• Local por Design: Roda em uma única GPU de consumidor (ex: 16GB+ VRAM).
• Modelos: Usa modelos de pesos abertos (Qwen3, Snowflake Arctic Embed).
• Segurança: O manuscrito nunca deixa a máquina local. O LLM atua apenas como um motor semântico, sem acesso à rede ou capacidade de tomar decisões autônomas de busca.

3. Principais Contribuições

1. sciwrite-lint (Pipeline de Verificação): A primeira ferramenta de código aberto que rastreia alegações através do grafo de citações, baixando, analisando e verificando não apenas as referências, mas também a integridade dos artigos citados e suas próprias bibliografias.
2. Verificação de Alegações vs. Citações: Vai além de verificar se a referência existe; verifica se o artigo citado suporta realmente a alegação feita no texto.
3. Arquitetura Estruturada vs. Agêntica: Diferente de sistemas agênticos complexos, o sciwrite-lint usa fluxos determinísticos onde possível e LLMs apenas para compreensão semântica, garantindo reprodutibilidade e auditabilidade.
4. SciLint Score (Proposta Experimental): Uma nova métrica que combina:
   • Integridade: Verificação de evidências reais.
   • Contribuição: Operationalização computacional de cinco frameworks da filosofia da ciência (Popper, Lakatos, Kitcher, Laudan, Mayo) para avaliar a qualidade estrutural do argumento (ex: falsificabilidade, unificação explicativa, severidade do teste).
5. Avaliação no Mundo Real: Validação em 30 artigos não vistos (arXiv/bioRxiv) com injeção de erros e análise de falsos positivos.

4. Resultados e Avaliação

• Recall de Injeção de Erros: O sistema detectou 98,5% dos erros sintéticos injetados (citações falsas e referências quebradas) com zero falsos positivos em verificações determinísticas.
• Desempenho em Corpus Real:
  • Em 30 artigos, o sistema gerou 1.755 achados.
  • A análise de falsos positivos (adjudicada por um LLM independente) mostrou que a maioria dos falsos positivos ocorria em PDFs sem DOIs claros, onde a busca por título era ingênua. A implementação de um "Matching Engine" (motor de correspondência) com pontuação composta resolveu esse problema.
• Calibração do SciLint Score:
  • Testado em 20 artigos conhecidos (incluindo ganhadores do Nobel e fraudes retratadas).
  • Resultados Esperados: Artigos de alto impacto (ex: LIGO, Graphene) pontuaram alto; fraudes (ex: LK-99, LaCour) pontuaram baixo.
  • Mecanismo de Penalidade: O sistema identificou corretamente o caso LK-99: apesar de alta "progressividade" e "conteúdo empírico", a pontuação caiu drasticamente devido à falta de "efetividade na resolução de problemas" e "severidade do teste".
• Desempenho Computacional: Uma verificação inicial leva ~30 minutos (dominado pela verificação de alegações), mas execuções em cache são rápidas.

5. Significado e Impacto

• Mudança de Paradigma: O artigo propõe mudar o foco de "quem escreveu" (detecção de IA) para "o que está escrito" (verificação de fatos e lógica).
• Escalabilidade: Oferece uma solução escalável para a inundação de artigos gerados por IA, onde a revisão por pares humana não consegue acompanhar.
• Transparência e Auditoria: Ao ser totalmente local e de código aberto, elimina a necessidade de confiar em "autoridades centrais" ou serviços de nuvem proprietários, permitindo que a comunidade científica audite e melhore os critérios de verificação.
• Ferramenta de Feedback: O SciLint Score e seus gráficos de radar servem como um "advisor" automático, indicando aos autores onde seus argumentos são fracos (ex: falta de falsificabilidade, citações apenas contextuais, ausência de testes severos).
• Filtro para Agentes de IA: Sugere que futuros sistemas de IA que leem literatura científica devem usar o SciLint Score como filtro de entrada, evitando a propagação de desinformação em bases de conhecimento.

Conclusão: O sciwrite-lint representa uma infraestrutura crítica para a ciência moderna, transformando a verificação de integridade de um processo subjetivo e manual em um processo automatizado, auditável e baseado em evidências estruturais.