Resumo Técnico: Geração Automatizada de Benchmarks a partir de Diretrizes de Domínio Informadas pela Taxonomia de Bloom

Declaração do Problema

O desenvolvimento de benchmarks de resposta a perguntas (QA) de questões abertas para domínios baseados em prática (ex.: ensino, dietética, cuidados de apoio) continua sendo um desafio fundamental. Diferente de campos estruturados como a matemática, onde problemas podem ser gerados sistematicamente, domínios aplicados dependem de conhecimento procedimental e raciocínio contextual em vez de mera recuperação de fatos estáticos. Os benchmarks existentes dependem amplamente da raspagem de bancos de exames pré-existentes escritos por humanos (ex.: exames de certificação de professores, testes de licenciamento médico). Essa abordagem é limitada pela disponibilidade desses recursos, resultando em benchmarks que são frequentemente pequenos, caros para adaptar e indisponíveis para muitos domínios onde exames de certificação não existem. Além disso, confiar apenas em bancos de exames falha em investigar adequadamente o raciocínio contextualizado e matizado exigido na prática profissional do mundo real.

Metodologia: O Framework BLOOMQA

Os autores introduzem o BLOOMQA, um framework para a construção de questões de múltipla escolha (MCQs) e diálogos de múltiplos turnos fundamentados no domínio, sem depender de bancos de exames existentes. O processo transforma diretrizes elaboradas por especialistas em benchmarks psicometricamente validados através de três estágios principais:

1. Extração de Práticas de Diretrizes

O framework utiliza um algoritmo, ExtractPractices, para processar automaticamente textos brutos de diretrizes de domínio (ex.: Dietary Guidelines for Americans, Small Teaching, HOPE: The Stroke Recovery Guide).

• Extração Estruturada: Um LLM extrai práticas acionáveis, etiquetando-as com cinco componentes semânticos baseados nos "Cinco Ws": Objetivo, Contexto, Ação, Tempo e Pessoa.
• Divisão Granular: Parágrafos complexos contendo múltiplas práticas são decompostos em práticas atômicas e independentes.
• Controle de Qualidade: As práticas passam por pontuação de clareza e pontuação de similaridade para remover redundâncias e garantir a distinção. As práticas são verificadas por especialistas do domínio para garantir que sejam mutuamente exclusivas e independentemente violáveis.
• Saída: O processo gera conjuntos curados de práticas (ex.: 55 para Dieta, 36 para Ensino, 52 para Cuidados de Apoio).

2. Geração de Cenários de Violação

Para cada prática validada, o framework gera um cenário de violação (80–120 palavras) ilustrando uma falha em seguir a prática.

• Violação Implícita: Os cenários não nomeiam explicitamente a prática violada; em vez disso, as violações são transmitidas através de ações e consequências para evitar o vazamento de respostas (answer leakage).
• Perfis Sintéticos: Os cenários são fundamentados em perfis de usuários sintéticos (ex.: um cliente ou instrutor específico) para garantir realismo contextual.
• Filtragem: Os cenários passam por controle de qualidade automático baseado em regras (presença de campo, contagem de palavras, detecção de duplicatas) e revisão por especialistas humanos para garantir alinhamento e realismo.

3. Construção do Benchmark (MCQs e Diálogos)

• Expansão de MCQ: Cada cenário serve como base para um MCQ. Para capturar a profundidade cognitiva, cada MCQ base é expandida em quatro variantes da Taxonomia de Bloom: Lembrar (Remember), Compreender (Understand), Aplicar (Apply) e Analisar (Analyze).
  • Lembrar: Pergunta qual prática foi violada.
  • Compreender: Pergunta pela explicação de causa/efeito.
  • Aplicar: Pergunta pela ação futura correta.
  • Analisar: Pergunta por uma comparação de práticas com prós/contras.
• Geração de Diálogo: Cada cenário é estendido em um diálogo de 20 a 30 turnos entre um usuário e um especialista. Esses diálogos seguem quatro fases (compreensão do problema, exploração de soluções, implementação, reflexão) e são estruturados pelos níveis de Bloom para incentivar o raciocínio passo a passo.
• Escala: O framework gerou aproximadamente 5.000 cenários e 5.000 diálogos por domínio, resultando em 20.000 MCQs por domínio (Teach-QA, Diet-QA, CareGiving-QA).

4. Metodologia de Avaliação

Os autores avaliam os benchmarks utilizando princípios psicométricos em vez de simples métricas de acurácia:

• Discriminação: Usando Modelos Lineares Mistos Generalizados (GLMMs), o estudo mede quão bem os itens separam modelos fortes de modelos fracos ($\Delta_{model}$).
• Progressão de Bloom: O estudo analisa a Taxa de Progressão Hierárquica de Bloom (BHPR) para determinar se o sucesso em níveis cognitivos inferiores prevê o sucesso em níveis superiores, comparando o comportamento dos LLMs com padrões de aprendizagem humana.
• Confiabilidade: Verifica a equidade e a cobertura equilibrada entre modelos e níveis de Bloom.

Principais Contribuições

1. Framework BLOOMQA: Um pipeline automatizado e inovador que transforma diretrizes de domínio em MCQs e diálogos psicometricamente validados, eliminando a dependência de bancos de exames existentes.
2. Três Datasets Abrangentes:
   • Teach-QA: 19.824 itens (36 práticas, 5.000 cenários).
   • Diet-QA: 18.756 itens (55 práticas, 5.000 cenários).
   • CareGiving-QA: 20.000 itens (52 práticas, 5.000 cenários).
   • Cada dataset inclui variantes enriquecidas com Bloom, investigando quatro níveis cognitivos.
3. Validação Empírica: Demonstração de que os itens gerados alcançam índices de discriminação significativos, estabelecendo um framework escalável para a criação de benchmarks em domínios baseados em prática.

Resultados da Avaliação

• Desempenho do Modelo: Observou-se uma variância significativa entre os modelos. No Ensino, modelos como DeepSeek-V3 e Qwen-25-72B superaram outros, enquanto Llama-33-70B e Mixtral-8x7B ficaram para trás. Na Dieta, o Kimi-K2 mostrou desempenho superior.
• Efeitos do Nível de Bloom: Os benchmarks capturaram com sucesso a variação estruturada de dificuldade entre os níveis cognitivos. No entanto, os LLMs exibiram comportamentos não intuitivos:
  • No Ensino, Aplicar, Lembrar e Compreender foram significativamente mais difíceis do que Analisar.
  • Na Dieta, Aplicar e Lembrar foram mais fáceis do que Analisar.
  • Isso sugere que os LLMs não seguem estritamente a suposição centrada no humano de que níveis mais altos de Bloom são inerentemente mais difíceis; seu desempenho em relação à taxonomia é dependente do domínio e irregular.
• Discriminação: A maioria das práticas foi altamente discriminativa. No Ensino, 97,2% das práticas mostraram forte separação entre os modelos.
• Ajuste Fino (Fine-Tuning): O ajuste fino dos modelos nos dados de diálogo gerados resultou em ganhos consistentes de acurácia, particularmente no domínio de Ensino e em níveis de Bloom mais altos (Aplicar e Analisar).

Significância e Alegações

O artigo afirma que o BLOOMQA fornece um método escalável, reproduzível e determinístico para avaliar LLMs em domínios baseados em prática onde bancos de exames tradicionais não estão disponíveis. Ao integrar princípios psicométricos (discriminação, dificuldade e profundidade cognitiva), o framework vai além da acurácia bruta para revelar comportamentos sutis dos modelos, como a tendência de alguns modelos de performarem melhor em tarefas de raciocínio de ordem superior enquanto falham em tarefas de recuperação de nível inferior.

Os autores enfatizam que seu trabalho estabelece uma base para a avaliação de LLMs informada psicometricamente, tratando os modelos como "estudantes" e as práticas como "pontos de conhecimento". Embora o framework tenha sido demonstrado em ensino, dietética e cuidados de apoio, os autores postulam seu potencial de generalização para qualquer domínio que possua diretrizes de prática. O estudo conclui que confiar apenas em bancos de exames é insuficiente para investigar o raciocínio contextualizado, e que a geração automatizada, baseada em diretrizes, oferece um caminho viável para a criação de benchmarks de alta qualidade e fundamentados no domínio.