🤖 AI

Orchestrating LLM Agents for Scientific Research: A Pilot Study of Multiple Choice Question (MCQ) Generation and Evaluation

Este estudo piloto de métodos mistos demonstra que, embora a orquestração de agentes de IA por pesquisadores humanos possa gerar questões de múltipla escolha com alta qualidade superficial, essas questões ainda não alcançam a equivalência completa das elaboradas por especialistas em critérios profundos como engajamento cognitivo e calibração de dificuldade, sinalizando uma mudança no trabalho científico de autoria direta para especificação, orquestração e governança.

Autores originais: Yuan An

Publicado 2026-02-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuan An

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef de cozinha renomado. Antigamente, para preparar um banquete para 1.000 pessoas, você teria que ir ao mercado, escolher cada ingrediente, cortar, temperar e cozinhar cada prato, um por um. Isso levaria meses e você ficaria exausto.

Agora, imagine que você ganhou um exército de robôs cozinheiros superinteligentes. O seu trabalho não é mais cortar a cebola ou fritar o peixe. O seu novo trabalho é ser o diretor de orquestra. Você diz aos robôs: "Quero um prato com peixe, sem alho, bem apimentado e pronto em 10 minutos". Os robôs fazem o trabalho pesado, mas você precisa garantir que o peixe não queime, que o tempero esteja certo e que o prato final seja delicioso.

Este artigo de pesquisa é exatamente sobre essa mudança de papel. Os autores testaram se uma única pessoa, usando uma "orquestra" de Inteligência Artificial (IA), poderia criar e avaliar milhares de perguntas de matemática (como as do teste SAT dos EUA) tão bem quanto um humano faria manualmente.

Aqui está o resumo da história, dividido em partes simples:

1. O Grande Experimento: Quem faz o quê?

O pesquisador não escreveu as perguntas. Ele construiu um "sistema" onde:

A IA foi a "mão de obra": Ela pegou livros didáticos digitais, leu tudo, extraiu informações e criou mais de 1.000 perguntas de matemática novas.
O humano foi o "maestro": Ele definiu as regras (ex: "tem que ser difícil", "tem que falar sobre álgebra"), monitorou se os robôs estavam seguindo as instruções e verificou se o resultado final fazia sentido.

A Grande Descoberta sobre o Trabalho:
O papel do pesquisador mudou drasticamente. Em vez de passar o dia escrevendo perguntas, ele passou o tempo projetando o sistema que escreve as perguntas.

Antes: O pesquisador era um "artesão" (fazendo tudo com as próprias mãos).
Agora: O pesquisador é um "engenheiro de processos" (garantindo que a máquina funcione, consertando quando ela quebra e definindo o que é "bom").

2. O Resultado: As perguntas das IAs são boas?

Aqui a história fica interessante. As perguntas geradas pela IA foram muito boas na superfície, mas falharam um pouco na profundidade.

O que ficou perfeito (A "Casca" do Ovo): A gramática estava perfeita, não havia erros de digitação, as opções de resposta eram claras e não havia repetições. A IA é mestre em fazer coisas que parecem limpas e organizadas.
O que ficou fraco (O "Recheio" do Ovo): As perguntas geradas pela IA tinham problemas mais sutis:
- Às vezes, a dificuldade não estava no nível certo (muito fácil ou muito difícil).
- As perguntas não testavam o "pensamento profundo" do aluno, apenas a memória superficial.
- As "distratores" (as respostas erradas que parecem certas) não eram tão inteligentes quanto as feitas por humanos especialistas.

Analogia: Imagine que a IA escreveu um livro de receitas. A caligrafia é linda, o papel é perfeito e as medidas estão claras. Mas, se você seguir a receita, o bolo pode não crescer direito porque a IA não entendeu a "ciência" por trás de como o fermento funciona, apenas copiou o formato.

3. O Paradoxo da Avaliação

O estudo usou IAs para avaliar as perguntas criadas por outras IAs.

O problema: As IAs tendiam a elogiar demais as perguntas que elas mesmas criaram (ou que seguiam o mesmo estilo), dando notas altas demais.
A lição: Avaliar o trabalho da IA é tão difícil quanto criá-lo. Precisamos de humanos para dizer: "Ei, essa pergunta parece bonita, mas não testa o que o aluno precisa aprender".

4. O Que Isso Significa para o Futuro?

O estudo conclui que a IA não vai substituir os pesquisadores ou professores, mas vai mudar como eles trabalham.

Não é "Desqualificação", é "Requalificação": Não significa que os pesquisadores ficarão sem trabalho. Significa que eles precisarão aprender novas habilidades. Em vez de saber apenas "como escrever uma pergunta", eles precisarão saber "como orquestrar uma equipe de IAs para escrever 1.000 perguntas e como auditar se elas estão corretas".
O Novo Trabalho: O trabalho mais valioso no futuro será definir regras, verificar erros e garantir a qualidade, não mais fazer o trabalho braçal de criação.

Resumo Final em uma Frase

A IA se tornou uma ferramenta poderosa que pode fazer o trabalho pesado de criar conteúdo em segundos, mas o ser humano continua sendo essencial para ser o chefe de cozinha que garante que o prato final tenha sabor, nutrição e não queime no forno. O futuro do trabalho científico não é sobre fazer mais rápido, mas sobre gerenciar melhor a máquina que faz tudo.

1. Problema e Contexto

O avanço dos Modelos de Linguagem de Grande Escala (LLMs) está transformando o trabalho científico, passando de ferramentas de assistência básica para componentes centrais da execução de pesquisa. No entanto, há uma lacuna de evidências empíricas sobre como esses sistemas redefinem a divisão do trabalho e a qualidade dos resultados.

Questão Central: Quando um pesquisador utiliza um pipeline impulsionado por IA para executar um projeto de ponta a ponta, quais tarefas são delegadas e quais novas responsabilidades emergem?
Cenário de Teste: O estudo utiliza a geração e avaliação em larga escala de Questões de Múltipla Escolha (MCQs) de Matemática do SAT (Scholastic Assessment Test), derivadas de livros didáticos de acesso aberto, como campo de prova (testbed). O objetivo é determinar até que ponto questões geradas por LLMs são comparáveis, em termos de qualidade pedagógica, demanda cognitiva e validade de avaliação, às questões autorizadas por humanos.

2. Metodologia

O estudo adota uma abordagem mista de métodos, onde um único pesquisador humano orquestra múltiplos agentes baseados em LLMs. O fluxo de trabalho foi dividido em seis fases estruturadas:

Fase 1: Identificação e Aquisição de Dados: Coleta de um banco de questões oficiais do SAT (College Board) e conversão de PDFs para JSON estruturado.
Fase 2: Extração e Construção de Corpus: Extração de conteúdo de livros didáticos de código aberto (OpenStax), convertendo-os para Markdown e dividindo-os em "chunks" (segmentos) que preservam a coerência pedagógica.
Fase 3: Alinhamento de Conteúdo: Uso de embeddings vetoriais para mapear cada questão base do SAT aos trechos mais relevantes dos livros didáticos (contexto de fundamentação).
Fase 4: Geração de Artefatos: Geração de novas MCQs por dois modelos distintos (GPT-5-nano e Gemini-2.5-Flash), utilizando os metadados da questão original (dificuldade, domínio, nível cognitivo) e o texto fundamentado como prompt.
Fase 5: Avaliação de Artefatos:
- Critérios: Desenvolvimento de uma rubrica de 24 critérios divididos em 6 categorias (Exatidão, Clareza, Distratores, Dificuldade, Alinhamento de Domínio/Habilidade e Calibração Cognitiva).
- Julgadores: Dois LLMs independentes atuaram como juízes para avaliar três conjuntos de dados: (1) Baseline SAT, (2) Gerado pelo Gemini, (3) Gerado pelo GPT.
Fase 6: Interpretação Humana: Análise dos resultados, validação e síntese teórica.

Análise Estatística:
Para testar a comparabilidade, o estudo utilizou o teste de equivalência de duas vias (TOST - Two One-Sided Tests) com um limite de equivalência de $\delta = 0.2$ desvios padrão. Isso permite determinar se as diferenças entre os grupos são "praticamente insignificantes" (equivalentes), em vez de apenas testar diferenças estatísticas.

3. Principais Contribuições

Evidência Empírica de Mudança de Trabalho: Documenta a transição do trabalho do pesquisador de "autoria de itens" para "especificação, orquestração e validação". O foco mudou da criação de conteúdo para a definição de restrições, design de rubricas e governança de falhas.
Avaliação em Larga Escala: Realizou uma comparação rigorosa de ~1.000 questões por conjunto, aplicando 24 critérios detalhados e dois juízes independentes, superando avaliações anteriores que focavam apenas em métricas superficiais.
Descoberta de Lacunas de Equivalência: Demonstra que, embora a qualidade média seja alta, a equivalência estrita (critério a critério) falha em dimensões profundas como profundidade de habilidade e calibração de dificuldade.
Definição de "Operações de Pesquisa com IA": Propõe que novas competências emergentes (especificação de sistemas, controle de erros, auditoria de proveniência) são essenciais para o futuro do trabalho científico.

4. Resultados Principais

Qualidade Agregada

As pontuações médias foram altas em todas as condições (entre 4,64 e 4,89 em uma escala de 1 a 5).
Curiosamente, os LLMs avaliadores tenderam a pontuar as questões geradas por IA ligeiramente mais alto do que as questões originais do SAT, sugerindo um viés de estilo ou alinhamento estrutural com os modelos geradores.

Diagnóstico por Critério

Pontos Fortes (Superfície): Critérios relacionados à fluência gramatical, clareza, ausência de duplicatas e exatidão factual atingiram pontuações próximas ao teto (>4,9). Os LLMs dominaram a forma e a estrutura superficial.
Pontos Fracos (Profundidade): Os critérios mais fracos consistentemente foram:
- Profundidade de Habilidade (Skill Depth): As questões geradas frequentemente invocavam habilidades de forma superficial.
- Distratores Plausíveis: Dificuldade em criar opções incorretas que pareçam verdadeiras para um estudante.
- Engajamento Cognitivo e Calibração de Dificuldade: Falha em ajustar o nível de desafio e o tipo de processamento cognitivo exigido.

Testes de Equivalência (TOST)

Sem Equivalência Total: Nenhuma questão gerada atingiu equivalência estrita (24/24 critérios) em relação às questões humanas.
Equivalência Parcial: Dependendo do juiz e da análise, apenas 9 a 12 dos 24 critérios atingiram o limiar de equivalência.
Áreas de Falha Persistente: A não equivalência concentrou-se em calibração de dificuldade, alinhamento de metadados e profundidade cognitiva.
Efeito do Juiz: Houve diferenças sistemáticas entre os juízes (Gemini vs. OpenAI), indicando que a escolha do modelo avaliador altera significativamente as conclusões sobre a qualidade.

5. Significado e Implicações

Mudança no Trabalho Científico

O estudo documenta uma mudança qualitativa no trabalho do pesquisador. Em um projeto que normalmente levaria 6 meses para um estudante de doutorado (trabalho manual), a orquestração de IA completou o ciclo em 10 dias (aprox. 80 horas de trabalho humano + custos de API de ~$62).

O Novo Papel: O pesquisador atua como um engenheiro de sistemas e supervisor de qualidade, dedicando mais de 50% do tempo à "Engenharia de Pipeline e Operações" (construção de scripts, tratamento de falhas, mapeamento de dados) e apenas 10% à interpretação final.
Reskilling (Reciclagem de Habilidades): O trabalho não foi desqualificado (deskilling), mas sim requalificado. Surgem novas competências em "Operações de Pesquisa com IA" (AI Research Operations), combinando expertise de domínio, julgamento de engenharia de software e alfabetização em avaliação.

Implicações para o Futuro

Viabilidade de Pipelines de IA: A geração de conteúdo em massa é viável, mas a validação e o controle de qualidade tornam-se os gargalos críticos.
Governança: A avaliação por IA não pode ser uma etapa "invisível". É necessária documentação rigorosa, calibração de juízes e auditoria de proveniência.
Limitações Atuais: As lacunas na profundidade cognitiva e na calibração sugerem que, embora a IA possa gerar volume, a supervisão humana ainda é indispensável para garantir a validade pedagógica e a precisão psicológica dos itens de avaliação.

Em suma, o artigo conclui que o valor principal dos LLMs na pesquisa científica não é apenas a automação da escrita ou codificação, mas a habilitação de novas formas de pesquisa de alto rendimento, onde o esforço humano se desloca da execução para o controle sistêmico e a governança.