Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework

Resumo Técnico: Paper Circle

1. O Problema

O crescimento exponencial da literatura científica tornou cada vez mais difícil para os pesquisadores descobrir, avaliar e sintetizar trabalhos relevantes de forma eficiente. As ferramentas tradicionais de busca e recomendação frequentemente falham em fornecer a profundidade e o contexto necessários para revisões de literatura rigorosas, resultando em fluxos de trabalho fragmentados. Embora existam sistemas de "Cientistas de IA" autônomos, há uma lacuna crítica entre simulações totalmente autônomas e as necessidades práticas e colaborativas das comunidades de pesquisa humanas. Existe uma necessidade de uma plataforma que não substitua o pesquisador, mas que atue como um "multiplicador de força" para gerenciar o ciclo de vida completo da literatura: descoberta, análise, crítica e síntese.

2. Metodologia e Arquitetura

O Paper Circle é um sistema de descoberta e análise de pesquisa baseado em Multi-Agent Systems (MAS) e Grandes Modelos de Linguagem (LLMs). A arquitetura é dividida em dois pipelines complementares, orquestrados por um agente central (baseado na biblioteca smolagents):

A. Pipeline de Descoberta (Discovery Pipeline)
Focado na recuperação e classificação de artigos relevantes a partir de múltiplas fontes (arXiv, Semantic Scholar, OpenAlex, DBLP e bases de dados offline).

• Agentes Especializados:
  • Intent Classification Agent: Analisa a consulta do usuário para definir modo de busca (offline/online), filtros de conferência/ano e preferências de classificação.
  • Paper Search Agent: Executa a recuperação, funde resultados e remove duplicatas.
  • Sorting Agent: Reordena os artigos usando critérios como recência, citações, similaridade, novidade e pontuações BM25 ou cross-encoders.
  • Analysis Agent: Gera estatísticas agregadas (distribuição de fontes, tendências temporais, autores principais).
  • Export Agent: Produz saídas sincronizadas em múltiplos formatos.
• Mecanismo de Pontuação: Utiliza um framework de pontuação multi-critério que combina similaridade (TF-IDF), recência, novidade (distância do centróide do corpus) e contagem de citações. Inclui também processamento de diversidade (MMR - Maximal Marginal Relevance) para evitar resultados homogêneos.

B. Pipeline de Análise (Analysis Pipeline)
Focado na compreensão profunda de artigos individuais, transformando documentos PDF em Grafos de Conhecimento (Knowledge Graphs) estruturados e rastreáveis.

• Ingestão e Chunking Semântico: Usa PyMuPDF para extrair metadados, seções, figuras, tabelas e equações. O SemanticChunker agrupa o texto alinhado à estrutura do documento, preservando o contexto.
• Construção do Grafo ("Paper Mind"): Cria um grafo tipado com nós (conceitos, métodos, experimentos, datasets, elementos visuais) e arestas (relações hierárquicas, definições, uso, avaliação). Todos os nós possuem metadados de proveniência (ID do bloco de texto, número da página).
• Agentes de Extração: Quatro agentes especializados extraem e classificam:
  1. Concept Extractor: Identifica conceitos-chave.
  2. Method Extractor: Extrai algoritmos e técnicas.
  3. Experiment Extractor: Recupera configurações experimentais e resultados.
  4. Linkage Agent: Conecta figuras e tabelas aos conceitos que ilustram.
• Q&A Orientado a Grafos: Combina recuperação vetorial com travessia de grafos (vizinhos de 1-hop) para responder perguntas com base em evidências textuais e relacionais, incluindo verificação de cobertura (garantindo que nenhuma figura ou seção foi ignorada).

C. Framework de Revisão
Um sistema multi-agente que simula uma revisão por pares, coordenando agentes como Deep Analyzer (núcleo técnico), Critic (avaliação de força/fracasso), Literature Expert (contexto de citação) e Reproducibility Checker (transparência de código/dados).

3. Principais Contribuições

1. Plataforma Colaborativa Humano-IA: Diferente de sistemas que buscam substituir o pesquisador, o Paper Circle é projetado como um "banco de trabalho" colaborativo, mantendo o humano no loop para verificação e priorização.
2. Pipeline Determinístico e Rastreável: O sistema gera saídas estruturadas (JSON, CSV, BibTeX, Markdown, HTML) em cada etapa do agente, permitindo reprodutibilidade total e auditoria do processo de descoberta.
3. Grafo de Conhecimento Dinâmico ("Paper Mind"): A capacidade de transformar um PDF em um grafo de conhecimento interconectado com proveniência completa, permitindo Q&A baseado em grafos e verificação de cobertura.
4. Descoberta Multi-Fonte e Multi-Critério: Integração de fontes online e offline com um sistema de pontuação híbrido que equilibra relevância, novidade e diversidade, superando a simples correspondência de palavras-chave.
5. Código e Dados Abertos: O sistema é totalmente open-source, com código disponível no GitHub e uma interface web funcional.

4. Resultados e Avaliação

Os autores realizaram benchmarks em recuperação de artigos e geração de revisões:

• Recuperação de Artigos:
  • O modelo Qwen3-Coder-30B (quantizado) alcançou a melhor eficácia, com uma Taxa de Acerto (Hit Rate) de 80% e MRR (Mean Reciprocal Rank) de 0.627.
  • O sistema superou ou foi competitivo com baselines tradicionais como BM25 (78% Hit Rate) e recuperação semântica pura (54% Hit Rate).
  • A configuração "Híbrida" (BM25 + Semântica) e o uso de filtros explícitos (conferência/ano) melhoraram significativamente a precisão.
  • O tempo médio por consulta foi de ~21-22 segundos, sem penalidade de latência significativa para a maior precisão.
• Análise e Revisão:
  • Em testes de previsão de notas de revisão (ICLR 2024), os modelos apresentaram correlação moderada com revisores humanos (r < 0.25), indicando que, embora bons para extrair informações, ainda têm dificuldade em replicar o julgamento subjetivo de ranking de qualidade de submissões.
  • Modelos maiores (ex: gpt-oss-120b) mostraram melhor desempenho em precisão absoluta, mas a correlação de ranking permaneceu baixa.
• Feedback de Usuário:
  • Em 81 sessões reais de descoberta, o sistema demonstrou baixa carga cognitiva (NASA-TLX: 1.2/7) e alta usabilidade, sendo acessível sem treinamento prévio.
  • O sistema recuperou 9,0% dos artigos que não estavam disponíveis em fontes únicas (como apenas arXiv ou Semantic Scholar), demonstrando a eficácia da agregação multi-fonte.

5. Significado e Impacto

O Paper Circle representa um avanço significativo na gestão de literatura científica ao combinar a potência dos agentes de IA com a necessidade de transparência e estrutura.

• Reprodutibilidade: Ao forçar saídas estruturadas e logs de estado em cada passo, o sistema resolve o problema da "caixa preta" comum em workflows de IA.
• Escalabilidade: A arquitetura multi-agente permite que o sistema escale para lidar com grandes volumes de literatura, organizando-a em grafos de conhecimento utilizáveis.
• Acessibilidade: Ao ser open-source e oferecer uma interface web, democratiza o acesso a ferramentas avançadas de análise de pesquisa, permitindo que equipes acadêmicas e industriais realizem revisões de literatura mais rápidas, abrangentes e fundamentadas em dados.

Em suma, o Paper Circle não busca automatizar a pesquisa científica de forma autônoma, mas sim aumentar a inteligência humana, fornecendo uma infraestrutura robusta para descoberta, organização e compreensão profunda do conhecimento científico acumulado.