AISSISTANT: Human-AI Collaborative Review and Perspective Research Workflows in Data Science

O artigo apresenta o AIssistant, um framework de código aberto baseado em agentes que facilita a colaboração humano-IA na geração de revisões e perspectivas científicas em ciência de dados, demonstrando uma economia de tempo de 65,7% enquanto mantém a integridade da pesquisa através de supervisão humana estratégica.

O essencial

Imagine que escrever um artigo científico de revisão (que resume tudo o que sabemos sobre um tema) ou um artigo de perspectiva (que olha para o futuro de uma área) é como construir uma catedral gigante.

Antigamente, um único arquiteto (o pesquisador humano) tinha que desenhar cada pedra, escolher cada tijolo, escrever cada história nas paredes e garantir que tudo estivesse perfeito. Isso levava anos, cansava muito e muitas vezes, a pessoa desistia antes de terminar.

Agora, os cientistas criaram um novo sistema chamado AISSISTANT. Pense nele não como um robô que faz tudo sozinho e te deixa de fora, mas como uma equipe de assistentes mágicos que trabalham ao seu lado.

Aqui está como funciona, explicado de forma simples:

1. O Grande Equívoco: "Robôs Sozinhos" vs. "Equipe Humana-IA"

Muitos sistemas de IA tentam fazer tudo sozinhos. É como pedir para um robô construir a catedral inteiro sem olhar para o chão. O resultado? Às vezes fica bonito, mas as paredes podem estar tortas ou usar tijolos que não existem (chamado de "alucinação" na IA).

O AISSISTANT é diferente. Ele é um sistema de "mão na massa".

• A Ideia: Você (o pesquisador) é o Chefe da Obra.
• A Equipe: Você tem 15 assistentes especializados (chamados "agentes").
  • Um agente é especialista em procurar livros na biblioteca.
  • Outro é especialista em escrever o rascunho da introdução.
  • Outro é especialista em verificar se os números batem.
• A Regra de Ouro: Nenhum assistente decide o final sozinho. Eles fazem o trabalho pesado, mas você precisa dar o "ok" em cada etapa. É como se eles fizessem o bolo, mas você prova o sabor e diz: "Mais açúcar aqui, menos farinha ali".

2. Como o Processo Funciona (A Metáfora da Cozinha)

O sistema divide o trabalho em duas cozinhas principais:

• Cozinha da Pesquisa (7 Chefes):
  Eles vão até a biblioteca (usando ferramentas reais da internet, não apenas o que a IA "acha" que sabe), escolhem os ingredientes (artigos científicos), definem o menu (perguntas de pesquisa) e preparam a base do prato.
• Cozinha da Escrita (8 Chefes):
  Eles pegam a base pronta e escrevem o prato final: o título, o resumo, a introdução, a conclusão e formatam tudo como um livro profissional.

O segredo é que, entre cada passo, você entra na cozinha. Você escolhe quais ingredientes usar, rejeita receitas estranhas e garante que o prato final tenha o seu "toque humano".

3. O Que Eles Descobriram? (Os Resultados)

Os criadores do sistema testaram isso com pesquisadores reais e com outras IAs para ver quem era melhor.

• Economia de Tempo: Usar o AISSISTANT reduziu o tempo de trabalho em 65%. O que antes levava 99 minutos, agora leva 34. É como ter um turbo no seu carro.
• Qualidade: O sistema funcionou muito bem, especialmente quando usaram uma IA mais inteligente (chamada OpenAI o1) e deixaram os assistentes buscarem informações na internet real (ferramentas de busca de literatura).
• Custo: É incrivelmente barato. Escrever um artigo completo custa menos de 1 dólar (cerca de R$ 5,00).
• O Perigo: Se você deixar a IA fazer tudo sem olhar, ela pode inventar citações de livros que não existem. Por isso, a presença humana é obrigatória para garantir que a ciência seja honesta.

4. A Conclusão em Uma Frase

O AISSISTANT não veio para substituir o cientista, mas para ser o melhor estagiário que você já teve. Ele faz o trabalho chato, repetitivo e de organização, permitindo que você, o pesquisador, foque no que realmente importa: a criatividade, a lógica profunda e a descoberta de novas ideias.

É a união perfeita entre a velocidade da máquina e a sabedoria humana, garantindo que a ciência avance mais rápido, mas sem perder a qualidade.

Resumo técnico

1. O Problema

A produção de artigos científicos de alta qualidade, especificamente artigos de revisão (review papers) e perspectivas (perspective papers), exige um tempo e esforço substanciais, limitando a capacidade dos pesquisadores de sintetizar conhecimento emergente. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado potencial em fluxos de trabalho científicos, as abordagens existentes (como "AI Scientist") focam predominantemente em fluxos de trabalho autônomos com intervenção humana mínima ou nula. Isso resulta em lacunas na supervisão rigorosa, na integridade das citações e na adaptação a padrões acadêmicos específicos. Não existia, até o momento, um framework aberto e agênico projetado especificamente para a colaboração humano-IA na geração estruturada de revisões e perspectivas em ciência de dados.

2. Metodologia: O Framework AISSISTANT

O AISSISTANT é apresentado como o primeiro framework de código aberto agênico para a geração colaborativa de perspectivas e revisões científicas. A arquitetura baseia-se em um design Human-in-the-Loop (HITL), onde a intervenção humana ocorre em todo o fluxo de trabalho para garantir rigor metodológico e responsabilidade.

O sistema é composto por dois fluxos de trabalho multi-agente principais:

• Fluxo de Pesquisa (Research Workflow): Contém 7 agentes especializados:
  1. Ideação
  2. Perguntas de Pesquisa
  3. Literatura Relacionada (utiliza ferramentas externas como Semantic Scholar e ORKG ASK)
  4. Método
  5. Implementação
  6. Resultados
  7. Análise
• Fluxo de Escrita de Artigo (Paper Writing Workflow): Contém 8 agentes com prompts adaptados para revisões e perspectivas:
  1. Geração de Título
  2. Geração de Resumo (Abstract)
  3. Geração de Introdução
  4. Geração de Trabalho Relacionado
  5. Geração de Método e Implementação
  6. Geração de Resultados e Discussão
  7. Geração de Conclusão
  8. Refinamento LaTeX (para coerência, formatação e integridade de citações, excluindo modificações automáticas na bibliografia para evitar alucinações).

Formalização Técnica:
O sistema modela a tarefa de cada agente $i$ como uma função $F_i: (U_i, P_i, T_i, A^-_i) \to (M_i, A_i)$, onde $U$ é a entrada do usuário, $P$ o prompt do sistema, $T$ o conjunto de ferramentas, $A^-$ o estado de ativos anterior e $M$ a saída gerada. O pipeline final é uma composição de agentes ($F_{pipeline} = F_1 \circ \dots \circ F_N$), onde os ativos são atualizados com base na seleção humana.

Configuração Experimental:

• Foram gerados 48 artigos (24 de revisão, 24 de perspectiva).
• Dois pesquisadores de nível de doutorado executaram o fluxo, selecionando saídas e propagando "Ativos" entre agentes.
• Foram testados dois LLMs principais: OpenAI o1 (com foco em raciocínio) e GPT-4o-mini.
• Estratégias de prompt: Zero-Shot (ZS), Few-Shot (FS) e Chain-of-Thought (CoT).
• Uso de ferramentas de Busca de Literatura (LS Tools) ativado ou desativado.

3. Principais Contribuições

1. Framework AISSISTANT: Introdução do primeiro framework agênico de código aberto para acelerar fluxos de trabalho de pesquisa de revisão e perspectiva em ciência de dados através da colaboração humano-IA, integrando agentes LLM especializados e ferramentas de busca de literatura.
2. Avaliação Rigorosa: Realização de avaliações combinadas (humanas e automatizadas) seguindo padrões NeurIPS, demonstrando que o modelo OpenAI o1 com Chain-of-Thought (CoT) e ferramentas de busca de literatura (LS Tools) atinge as maiores pontuações de qualidade.
3. Análise de Custo e Eficiência: Demonstração de que o framework pode gerar artigos científicos por menos de $1,00 USD (custo máximo de $0,90 para revisões e $0,64 para perspectivas com o1; valores ainda menores com gpt-4o-mini), mantendo a integridade da pesquisa.
4. Validação de Colaboração: Evidência de que pipelines aumentados por agentes permitem que pesquisadores foquem na criatividade e no raciocínio, delegando tarefas estruturadas aos agentes, com supervisão humana estratégica.

4. Resultados Chave

• Qualidade da Geração: O OpenAI o1 obteve as melhores pontuações em avaliações humanas para ambos os tipos de artigos. A combinação de CoT + Ferramentas de Busca de Literatura (LS Tools) resultou em melhor estrutura, relevância de citações e redução de alucinações.
• Comparação Humano vs. LLM:
  • Os avaliadores humanos pontuaram os artigos ligeiramente mais altos em critérios como "Originalidade", "Significado" e "Qualidade Geral" em comparação com avaliadores baseados em LLM (GPT-5).
  • LLMs foram mais eficazes em detectar falhas técnicas e consistência lógica, enquanto humanos foram superiores em identificar ideias transformadoras e impacto.
  • A pontuação média geral foi de 2,31 (Perspectiva) e 2,22 (Revisão) na avaliação humana.
• Eficiência e HCI (Interação Humano-Computador):
  • Um estudo com 5 especialistas mostrou uma economia de tempo de 65,7% (redução de 99 minutos para 34 minutos por artigo).
  • Métricas de aceitação do sistema foram altas (Facilidade de uso: 4,0/5; Intenção de uso futuro: 3,6/5).
  • A carga cognitiva (NASA-TLX) foi moderada, com alta satisfação de desempenho (5,8/7).
• Custo: O custo máximo por artigo usando OpenAI o1 foi de $0,90, enquanto o GPT-4o-mini custou apenas $0,0037, embora o o1 tenha oferecido melhor qualidade de raciocínio.

5. Significado e Impacto

O trabalho estabelece uma linha de base para fluxos de trabalho científicos colaborativos humano-IA na área de ciência de dados. O AISSISTANT demonstra que a automação total não é a solução ideal para a pesquisa de revisão e perspectiva; em vez disso, um modelo híbrido com supervisão humana estratégica é superior para manter a integridade científica, reduzir alucinações e garantir a relevância das citações.

O framework preenche uma lacuna crítica ao oferecer uma estrutura modular e transparente que equilibra a eficiência da IA com o julgamento crítico humano. Embora existam limitações (como a necessidade de verificação humana de citações e suporte limitado a geração de imagens), o AISSISTANT representa um passo significativo em direção a pipelines de descoberta científica escaláveis, responsáveis e eficientes em termos de custos.