AISysRev -- LLM-based Tool for Title-abstract Screening

1. O Problema

A realização de revisões sistemáticas (RS) na Engenharia de Software (ES) e outras áreas é uma tarefa laboriosa e demorada, levando em média 67 semanas para conclusão. A fase de triagem de títulos e resumos (title-abstract screening) é particularmente desafiadora, pois pode envolver milhares de artigos (ex: ~25.000 em alguns casos) que devem ser filtrados contra critérios rigorosos de inclusão e exclusão.

Embora modelos de linguagem grandes (LLMs) tenham demonstrado potencial para automatizar essa tarefa, existem limitações nas ferramentas atuais:

• Ferramentas de Código Aberto: Muitas têm suporte limitado a provedores de LLMs, documentação insuficiente ou não são mais mantidas ativamente.
• Ferramentas Comerciais: Oferecem suporte de ponta a ponta, mas são "caixas-pretas" (closed-source), limitando a visibilidade sobre os modelos subjacentes, parâmetros e técnicas de prompting utilizadas.
• Desafios Técnicos: Falta de escalabilidade, dificuldade em lidar com a heterogeneidade de provedores de LLM e a necessidade de transparência metodológica para garantir a qualidade científica.

2. Metodologia e Arquitetura do AISysRev

Os autores desenvolveram o AISysRev, uma ferramenta de triagem baseada em LLMs implementada como uma aplicação web containerizada. A arquitetura e o funcionamento são divididos da seguinte forma:

• Arquitetura Técnica:

  • Backend: Python, escolhido pelo suporte robusto a programação assíncrona e integração com SDKs de LLM via Pydantic AI.
  • Frontend: React.js, focado em usabilidade e acessibilidade.
  • Servidor de Trabalhadores (Worker): Um servidor Python dedicado que gerencia chamadas específicas aos LLMs.
  • Infraestrutura: Utiliza Docker para containerização, PostgreSQL para persistência de dados, Redis para cache em memória (otimizando I/O) e MinIO (compatível com S3) para armazenamento de objetos.
  • API: RESTful com especificação OpenAPI, permitindo integração programática.

• Fluxo de Trabalho e Funcionalidades:

  1. Entrada de Dados: Aceita arquivos CSV contendo títulos e resumos (extraídos de bancos como Scopus, Web of Science, PubMed).
  2. Configuração: O usuário define critérios de inclusão/exclusão e seleciona o provedor de LLM. O sistema suporta:
     • Provedores em nuvem via OpenRouter (Google, Anthropic, Mistral, OpenAI, etc.).
     • APIs OpenAI diretas.
     • Modelos hospedados localmente (via OpenAI SDK).
  3. Técnicas de Prompting:
     • Zero-shot (ZS): Avaliação baseada apenas nos critérios definidos.
     • Few-shot (FS): Melhora a performance fornecendo exemplos de decisões de triagem (incluídos/excluídos) ao modelo.
  4. Abordagem "Human-in-the-Loop": O sistema não substitui o julgamento humano, mas oferece duas visualizações principais:
     • Triagem Individual: Mostra as recomendações de múltiplos LLMs para cada artigo, permitindo que o revisor humano tome a decisão final com base nas sugestões.
     • Triagem por Probabilidade: Ordena os artigos pela probabilidade de inclusão (calculada a partir de múltiplos LLMs), permitindo focar nos "top evidence" (útil para Rapid Reviews).
  5. Paralelismo: As chamadas aos LLMs são paralelizadas usando asyncio, alcançando velocidades de 100 a 300 artigos por minuto.
  6. Saída: Resultados exportados em CSV, incluindo decisões binárias, escalas ordinais (1-7) e valores de probabilidade (0.0-1.0) para cada critério e método.

3. Resultados e Validação

Os autores conduziram um estudo qualitativo de validação utilizando 137 artigos de uma revisão sistemática prévia sobre "pressão de tempo na Engenharia de Software". Foram utilizados três modelos: Google Gemini 2.5 Flash, Mistral Small 3.2-23B e OpenAI GPT-4.1 Mini.

A análise dos resultados classificou os artigos em quatro categorias distintas:

1. Inclusões Fáceis (Easy Includes): Artigos onde a relevância é explícita. Os LLMs demonstraram alta precisão na inclusão.
2. Exclusões Fáceis (Easy Excludes): Artigos fora do escopo (ex: medicina, aviação). Tanto humanos quanto LLMs conseguem filtrar estes com alta eficácia.
3. Inclusões de Fronteira (Boundary Includes): Artigos com contexto de ES, mas ambiguidade sobre a evidência de pressão de tempo. Os LLMs tendem a cometer erros de exclusão aqui, exigindo intervenção humana.
4. Exclusões de Fronteira (Boundary Excludes): Artigos que mencionam pressão de tempo apenas como motivação ou fundo, sem evidência empírica real. Os LLMs frequentemente classificam erroneamente estes como inclusivos devido à menção do termo no resumo.

Conclusão dos Resultados:

• Os LLMs não substituem o julgamento humano, especialmente nos casos de "fronteira".
• A ferramenta é eficaz para reduzir a carga de trabalho ao filtrar automaticamente as "Inclusões Fáceis" e "Exclusões Fáceis".
• A abordagem de múltiplos modelos e a visualização de incerteza (probabilidade) ajudam a identificar quais artigos exigem revisão humana detalhada.

4. Contribuições Principais

• Ferramenta Open-Source e Transparente: Diferente das soluções comerciais, o AISysRev permite total visibilidade e controle sobre modelos, parâmetros e técnicas de prompting.
• Flexibilidade de Provedores: Suporta uma vasta gama de LLMs (locais e em nuvem) através de uma interface unificada, facilitando comparações e testes.
• Infraestrutura Escalável: Projetada para lidar com grandes volumes de dados através de paralelização e arquitetura baseada em microsserviços (Docker/Redis).
• Suporte a Métodos Híbridos: Integração nativa de Zero-shot e Few-shot learning, além de fluxos de trabalho que priorizam a velocidade (Rapid Reviews) ou a exaustividade.
• Base para Pesquisa: Fornece uma infraestrutura para estudar e desenvolver diretrizes para abordagens "human-in-the-loop" em revisões sistemáticas.

5. Significado e Impacto

O AISysRev preenche uma lacuna crítica entre a pesquisa acadêmica sobre LLMs e a aplicação prática em revisões sistemáticas. Ao oferecer uma ferramenta acessível, transparente e escalável, ele permite que pesquisadores e profissionais da indústria:

• Reduzam significativamente o tempo e o esforço necessário para a triagem de literatura.
• Mantenham o rigor científico ao preservar o papel do revisor humano nas decisões complexas.
• Realizem estudos comparativos sobre o desempenho de diferentes LLMs em tarefas específicas de triagem.

O trabalho sugere que, embora os LLMs ainda cometam erros em casos ambíguos, eles são ferramentas poderosas para gerenciar o volume crescente de literatura científica, especialmente quando combinados com uma interface que destaca a incerteza e permite a intervenção humana estratégica.