DOME Copilot: Making transparency and reproducibility for artificial intelligence methods simple

O DOME Copilot é uma solução baseada em modelos de linguagem que extrai relatórios estruturados de métodos de inteligência artificial em artigos científicos, facilitando a transparência, a reprodutibilidade e a escalabilidade na análise da literatura global de IA.

O essencial

🤖 O DOME Copilot: O "Tradutor Mágico" para a Ciência de IA

Imagine que a ciência está vivendo uma revolução. Novas ferramentas de Inteligência Artificial (IA) estão sendo criadas todos os dias para ajudar a curar doenças, descobrir novos materiais e resolver problemas complexos. É como se tivéssemos uma fábrica de superpoderes científicos.

O Problema: A "Caixa Preta"
O problema é que muitos cientistas publicam seus trabalhos como se fossem caixas pretas. Eles dizem: "Usei uma IA para fazer isso", mas não explicam como a caixa funciona por dentro.

• Qual foi o "ingrediente" (dado) usado?
• Qual foi a "receita" (algoritmo)?
• Onde posso baixar a "ferramenta" para usar eu mesmo?

Sem essas informações, outros cientistas não conseguem repetir o experimento (reprodutibilidade) ou usar a descoberta para criar algo novo (reutilização). É como tentar cozinhar um prato delicioso sem a receita: você pode ter sorte uma vez, mas não consegue repetir o sucesso.

Para resolver isso, existia uma "lista de verificação" chamada Recomendações DOME. Era como um formulário obrigatório para garantir que a receita estivesse completa. Mas, preencher esse formulário manualmente era chato, demorava horas e muitos cientistas não tinham tempo ou vontade de fazer isso.

A Solução: O DOME Copilot
Aqui entra o DOME Copilot. Pense nele como um assistente pessoal superinteligente (um "robô" baseado em linguagem) que trabalha para você.

1. Como ele funciona?
   Imagine que você entrega ao robô o PDF do seu artigo científico (a "caixa preta"). O DOME Copilot lê o texto inteiro em segundos, como se fosse um leitor voraz, e extrai automaticamente as informações importantes.

   • Ele transforma o texto confuso e cheio de jargões em uma receita organizada e clara.
   • Ele preenche o formulário DOME sozinho, dizendo: "Aqui está o modelo, aqui está o link, aqui está a licença".

2. O que ele faz depois?
   O robô não decide sozinho. Ele entrega o formulário preenchido para o cientista humano. O cientista apenas revisa, corrige se necessário e aprova. É como se o robô fizesse o "rascunho" e o humano fizesse a "revisão final".

3. Por que isso é incrível?

   • Velocidade: O que antes levava horas para ser feito manualmente, o Copilot faz em cerca de 2 minutos.
   • Escala: Antes, só era possível organizar alguns artigos por vez. Com o Copilot, podemos organizar milhares de artigos antigos e novos, limpando o "acúmulo" de ciência que estava perdida.
   • Confiança: Agora, qualquer pessoa pode acessar esses dados estruturados e entender exatamente como a IA foi feita.

Analogia Final: O Tradutor de Receitas
Imagine que os cientistas estão escrevendo receitas de bolo em línguas estranhas, com medidas confusas e ingredientes sem nome. Ninguém consegue cozinhar o bolo de verdade.
O DOME Copilot é como um tradutor mágico que lê essas receitas bagunçadas e as transforma instantaneamente em um cartão de receita padrão, com xícaras, colheres e nomes de ingredientes claros.

• Ele não cozinha o bolo por você (o cientista ainda precisa validar).
• Mas ele tira o trabalho pesado de traduzir e organizar, permitindo que todos na cozinha (a comunidade científica) cozinhem juntos, com segurança e rapidez.

🚀 Para que serve isso no futuro?

O DOME Copilot vai ajudar de três formas principais:

1. Autoajuda: O cientista usa antes de publicar para ver se esqueceu de explicar algo importante.
2. Facilitador de Publicação: A revista científica usa para receber o artigo já com a "receita" organizada, agilizando a revisão.
3. Arquivo Histórico: O sistema pode ler milhares de artigos antigos que nunca tiveram uma "receita" clara e organizá-los automaticamente, salvando conhecimento que estava prestes a ser esquecido.

Em resumo, o DOME Copilot está transformando a ciência de IA de um mistério inacessível em uma biblioteca de receitas abertas, transparentes e fáceis de usar para todos.

Resumo técnico

Resumo Técnico: DOME Copilot

1. O Problema

O avanço da Inteligência Artificial (IA) nas ciências da vida tem gerado descobertas sem precedentes, mas enfrenta uma crise de reutilizabilidade e reprodutibilidade. Muitos métodos publicados atuam como "caixas pretas", onde informações cruciais para a interpretação científica estão ausentes, obfuscadas ou apresentadas em formatos não estruturados.
Embora existam diretrizes de relatórios, como as Recomendações DOME (adotadas por publicadores como a GigaScience), a adesão por parte dos pesquisadores é baixa. A principal barreira é o esforço manual intensivo necessário para compilar metadados estruturados de métodos de IA, um processo que pode levar horas por publicação e é frequentemente visto como trabalho não recompensado. Isso resulta em um gargalo de curadoria humana que impede a escalabilidade da transparência e a criação de repositórios confiáveis.

2. Metodologia

O DOME Copilot é uma solução baseada em Modelos de Linguagem de Grande Escala (LLM) projetada para extrair automaticamente relatórios estruturados de métodos de IA a partir de manuscritos (PDFs).

• Arquitetura do Sistema:

  • Interface de Entrada: Os usuários fazem o upload do manuscrito (PDF) e materiais suplementares através de uma interface Gradio.
  • Processamento de Texto: O conteúdo do PDF é analisado e extraído.
  • Embeddings e Indexação: O modelo Qwen3-Embeddings-4B gera embeddings de texto, que são armazenados em um índice vetorial usando a biblioteca LlamaIndex.
  • Geração de Anotações: Um LLM intermediário, o Mistral Small 3.1 24B Instruct, é utilizado para gerar as anotações. Este modelo foi escolhido pelo equilíbrio entre velocidade e capacidade de resumo e estruturação de texto.
  • Técnica Principal: O sistema utiliza Geração Aumentada por Recuperação (RAG) e prompts estruturados para garantir que a saída siga o esquema JSON do DOME Registry.
  • Fluxo de Trabalho: O sistema gera o relatório estruturado em aproximadamente dois minutos. O resultado pode ser validado e editado por humanos antes do envio final ao DOME Registry.

• Desenvolvimento Iterativo (v0 para v2):

  • O sistema passou por refinamentos significativos entre a versão inicial (v0) e a final (v2).
  • As melhorias focaram na redução de verbosidade e na padronização do estilo de saída, baseadas na observação de curadores humanos em um conjunto de teste de 30 publicações.
  • O objetivo foi transformar saídas prolixas em respostas concisas e estruturadas, contendo apenas informações pertinentes.

3. Resultados e Avaliação

A performance do DOME Copilot v2 foi avaliada através de três conjuntos de dados distintos:

• Similaridade Semântica (Dataset A - Benchmark):

  • Foram comparadas 192 anotações geradas pelo Copilot contra anotações manuais humanas.
  • Utilizou-se a métrica BERTScore, onde uma pontuação de 1 indica correspondência semântica idêntica.
  • Resultado: As pontuações situaram-se principalmente entre 0,35 e 0,50. Embora não sejam perfeitas, indicam uma similaridade semântica estável. A variação deve-se à diversidade e qualidade variável das anotações humanas de referência (que às vezes incluem trechos brutos do texto), enquanto o Copilot gera saídas estruturadas e concisas.
  • As categorias de Dataset, Otimização e Avaliação mostraram distribuições mais compactas, indicando desempenho uniforme.

• Geração em Escala (Dataset B - Publicações Positivas):

  • Testado em 1.012 novas publicações com métodos de IA.
  • O sistema demonstrou sucesso na extração de informações presentes, com falas de extração total correlacionadas a campos metodológicos conhecidos por serem subnotificados (ex: duração de execução do modelo).
  • "Gerações parciais" ocorreram principalmente em campos multi-pergunta onde apenas parte dos dados (ex: URL do modelo) estava disponível no texto, enquanto outros (ex: licenciamento) estavam ausentes.

• Evitação de Alucinações (Dataset C - Negativos):

  • Testado em 1.012 publicações sem relevância para o DOME (ex: economia, revisões de literatura, estudos de escopo não relacionados).
  • O modelo demonstrou robustez: rejeitou completamente mais da metade das amostras (n=546) ao detectar "negativos fortes" (papel fora do domínio).
  • Para "negativos suaves" (ex: meta-análises de IA), o sistema retornou declarações padrão de "informação insuficiente" em vez de alucinar dados, evitando a geração de anotações incorretas.

• Redução de Verbosidade:

  • Houve uma redução substancial no comprimento dos caracteres das respostas entre a versão v0 e a v2, garantindo extrações de informações mais direcionadas e sucintas.

4. Principais Contribuições

1. Automação da Curadoria: O DOME Copilot resolve o gargalo de esforço humano na criação de metadados estruturados, permitindo a escalabilidade da anotação de literatura global de IA.
2. Integração no Fluxo de Trabalho: Projetado para ser integrado em portais de submissão de revistas, atuando como uma ferramenta de auto-verificação para autores e auxiliando revisores com relatórios padronizados.
3. Infraestrutura Aberta e Escalável: O código e a infraestrutura são de código aberto, permitindo a implantação flexível (via plataforma AI4EOSC) e a descoberta de anotações através de links cruzados no Europe PMC e EBI Search.
4. Transparência na Validação: O sistema distingue claramente entre anotações validadas por humanos (para uso em submissões) e anotações geradas em massa para arquivos históricos (marcadas transparentemente no repositório como não validadas por humanos).

5. Significado e Impacto

O DOME Copilot representa um marco na infraestrutura de ciência aberta para IA. Ao transformar a extração de informações de métodos de IA de uma tarefa manual e lenta em um processo automatizado e rápido, ele:

• Mitiga a crise de reprodutibilidade ao tornar os métodos de IA transparentes e reutilizáveis.
• Permite que os pesquisadores descubram e compreendam métodos anteriores de forma estruturada.
• Oferece um modelo de "prova de conceito" para resolver problemas de relatórios que diretrizes sozinhas não conseguiram resolver devido à falta de escalabilidade.
• Estabelece um novo padrão para a transparência não apenas nas ciências da vida, mas em qualquer domínio onde a reprodutibilidade da IA seja crítica.

Em suma, o DOME Copilot não substitui a curadoria humana, mas remove a barreira inicial de tempo e esforço, permitindo que a comunidade científica escale a transparência dos métodos de IA de forma viável.