Using a Human-AI Teaming Approach to Create and Curate Scientific Datasets with the SCILIRE System

Título: SCILIRE: Uma Abordagem de Trabalho em Equipe Humano-AI para Criar e Curar Conjuntos de Dados Científicos

1. O Problema

O crescimento exponencial da literatura científica tornou a extração manual de conhecimento estruturado impraticável. Embora ferramentas baseadas em Grandes Modelos de Linguagem (LLMs), como Elicit e SciSpace, ajudem os pesquisadores a navegar e extrair dados, elas geralmente operam em um modo de "passada única" (single-pass).

• Limitações Atuais: Essas ferramentas não permitem correções iterativas que alimentem o modelo. Elas frequentemente geram "alucinações" (informações confabuladas) e exigem que o usuário valide e corrija os dados fora da ferramenta, um processo árduo e propenso a erros em grandes conjuntos de dados.
• Necessidade: Existe uma lacuna para sistemas que integrem a validação humana diretamente no fluxo de trabalho de extração, utilizando o feedback humano para melhorar a precisão das inferências futuras do modelo.

2. Metodologia: O Sistema SCILIRE

O SCILIRE é um sistema modular projetado sob os princípios de Trabalho em Equipe Humano-AI (Human-AI Teaming - HAT), especificamente focado em Curadoria de Dados Assistida por Humanos (HAT-DC). O sistema não substitui o especialista, mas o amplifica através de um fluxo de trabalho iterativo.

Arquitetura e Componentes Principais:

1. Pré-processamento de Documentos:

   • Utiliza pipelines híbridos (GROBID e Apache Tika) para extrair texto de PDFs.
   • Para PDFs escaneados, emprega OCR (via OCRmyPDF).
   • Inclui um módulo personalizado para detecção e reconhecimento de estrutura de tabelas e figuras, convertendo-os para Markdown.
   • Segmenta documentos longos em "chunks" (janelas deslizantes) para se adequar ao contexto dos LLMs.

2. Geração de Registros (Record Generation):

   • O sistema constrói prompts baseados em um esquema definido pelo usuário (ex: colunas de uma tabela desejada).
   • Aprendizado em Contexto (ICL) Dinâmico: Diferente de sistemas estáticos, o SCILIRE seleciona exemplos de few-shot learning dinamicamente. Ele busca no pool de documentos já corrigidos pelo usuário o exemplo mais relevante (usando BM25) para incluir no prompt do LLM. Isso garante que o modelo aprenda com os erros e correções recentes.
   • Alinhamento: Se múltiplos pipelines de extração (ex: GROBID vs. Tika) gerarem registros, um algoritmo de correspondência húngara (Hungarian algorithm) funde os conjuntos para sugerir alternativas ao usuário.

3. Suporte à Verificação (Verification Support):

   • Verificação de Proveniência: Um verificador de "alucinação" em nível de célula compara o conteúdo gerado com o documento original usando correspondência de strings difusas (fuzzy matching).
   • Explicações Sob Demanda: O sistema destaca as palavras-chave no texto original e recupera os parágrafos de suporte que justificam a resposta do AI.
   • Visualização: O usuário vê o nível de alinhamento entre a extração e a fonte, facilitando a decisão de aceitar, rejeitar ou editar.

Fluxo de Trabalho Iterativo (HAT-DC):

1. Upload e Definição de Esquema: O usuário carrega documentos e define as colunas da tabela alvo.
2. Fase Piloto (Pilot Phase): O usuário seleciona uma pequena amostra (ex: 10 documentos), gera tabelas e as corrige manualmente. Essas correções são armazenadas.
3. Amostragem Dinâmica: O sistema usa as correções da fase piloto para selecionar exemplos de treinamento (ICL) para os próximos lotes.
4. Fase em Lote (Batch Phase): O sistema processa o restante da coleção em escala, aplicando o modelo refinado pelas correções anteriores. O usuário pode revisar amostras ou exportar os dados.

3. Contribuições Chave

1. Fluxo de Trabalho HAT-DC: Uma avaliação rigorosa de um fluxo onde a curadoria humana e a extração de IA se retroalimentam, demonstrando que a correção humana melhora a precisão do modelo em tempo real.
2. Amostragem Dinâmica para ICL: A introdução de um mecanismo que seleciona exemplos de in-context learning baseados na história de curadoria do usuário, superando abordagens estáticas.
3. Ferramenta de Curadoria Completa: Um sistema que suporta desde a extração de tabelas complexas de PDFs até a exportação de dados estruturados (CSV/JSON) com proveniência verificável, diferenciando-se de concorrentes comerciais que carecem de suporte a múltiplos registros por documento ou proveniência granular.

4. Resultados e Avaliação

Os autores avaliaram o SCILIRE em 18 conjuntos de dados de cinco domínios científicos (Machine Learning, Ciência de Materiais, Química, Medicina e Física).

• Desempenho de Extração (F1 Score):

  • A abordagem com ICL Dinâmico superou consistentemente o zero-shot e o ICL estático.
  • Em média, o uso de um pool de 100 exemplos corrigidos (ICL-all) resultou no melhor desempenho.
  • O sistema alcançou um F1 médio de 22.47 (escala 0-100) com GPT-5, com picos de 67.83 no conjunto de dados PPE.
  • Comparado a ferramentas comerciais (Elicit e SciSpace), o SCILIRE superou significativamente ambos em todos os conjuntos de dados, especialmente na capacidade de gerar registros complexos e precisos.

• Estudos de Caso e Feedback de Usuários:

  • Eficiência: Em quatro estudos de caso (Agricultura, Estudos Ambientais, Bioquímica e Manufatura Médica), os usuários relataram que o SCILIRE reduziu o tempo de curadoria de meses para semanas.
  • Redução de Esforço: A taxa de edição necessária pelos usuários diminuiu à medida que o sistema aprendia com as correções iniciais (ex: de 30% de edição no zero-shot para 20% com ICL em um caso de agricultura).
  • Confiança: Os pesquisadores enfatizaram que não confiariam em resultados totalmente automatizados; a capacidade de verificar a proveniência e corrigir dados foi crucial para a adoção.

5. Significado e Conclusão

O SCILIRE representa um avanço significativo na intersecção entre IA para Ciência (AI4S) e Interação Humano-Computador.

• Escalabilidade: Permite que pesquisadores criem conjuntos de dados estruturados a partir de milhares de artigos, uma tarefa impossível manualmente.
• Qualidade e Confiabilidade: Ao integrar a correção humana no ciclo de treinamento (via ICL dinâmico), o sistema mitiga alucinações e aumenta a fidelidade dos dados extraídos.
• Paradigma de Trabalho: O sistema valida a tese de que a IA não deve ser uma ferramenta de "caixa preta" de passagem única, mas sim um parceiro iterativo onde a expertise humana guia e refina a inteligência artificial.

Em suma, o SCILIRE oferece uma solução prática e escalável para a mineração de conhecimento científico, transformando a curadoria de dados de um gargalo manual em um processo colaborativo eficiente.