Resumo Técnico: KNIGHT

Definição do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) tornou-os centrais para aplicações como a Geração Aumentada por Recuperação (RAG). No entanto, a avaliação desses sistemas enfrenta um gargalo significativo: o tempo, o custo e a expertise necessários para construir conjuntos de dados de avaliação especializados e de alta qualidade. Os conjuntos de dados de avaliação públicos existentes são frequentemente escassos devido a restrições proprietárias, enquanto benchmarks padrão como o MMLU são amplamente estáticos, difíceis de atualizar e carecem de controle instrutivo refinado sobre a dificuldade por tópico ou estruturas de raciocínio de múltiplos saltos (multi-hop). Além disso, esforços anteriores de geração automatizada de conjuntos de dados carecem de frameworks de código aberto, amplamente adotados e reprodutíveis que possam gerar questões com dificuldade controlada sem a necessidade de reingerir repetidamente textos de origem longos.

Metodologia

Os autores introduzem o KNIGHT (Knowledge-graph-driven Natural Item Generation with Adaptive Hardness Tuning), um framework totalmente automatizado projetado para sintetizar conjuntos de dados de questões de múltipla escolha (MCQ) de larga escala e específicos de um tópico a partir de coleções de documentos externos e ontologias. O framework opera através de um pipeline de quatro estágios:

1. Construção do Grafo de Conhecimento (KG): Dado um tópico definido pelo usuário $\tau$, o sistema constrói um grafo de propriedades direcionado $G=(V, E, R)$ via um loop de recuperação-geração-filtragem.

   • Recuperação e Síntese: Ele recupera evidências classificadas de fontes (ex: Wikipedia) e utiliza um LLM para gerar um glossário estruturado de oito pontos (descrição) para a entidade semente.
   • Indução de Triplas: O sistema extrai triplas sujeito-predicado-objeto dessas descrições, filtrando duplicatas próximas.
   • Curadoria e Expansão: Um módulo de curadoria aplica verificações de tipo (instanciadas com Wikidata), verificações de consistência de Inferência de Linguagem Natural (NLI) e triagem de política de conteúdo. O grafo se expande em largura até um limite de profundidade definido pelo usuário $d_{max}$, criando uma representação compacta e reutilizável de entidades e relações.

2. Síntese de MCQ: O sistema gera questões percorrendo caminhos de múltiplos saltos (multi-hop) dentro do KG construído.

   • Ele amostra caminhos de comprimento (profundidade) e orientação (direta ou reversa) configuráveis.
   • Os glossários dos nós e os rótulos das relações são verbalizados em um template de contexto, que orienta um LLM a gerar um enunciado de questão, uma única resposta correta e três distratores semanticamente próximos.

3. Calibragem de Dificuldade: A dificuldade é explicitamente controlada através do comprimento do caminho (número de saltos) e do nível de abstração dentro do KG. O sistema valida que caminhos mais longos correlacionam-se com maior incerteza do modelo (entropia) e dificuldade percebida por humanos.

4. Validação e Filtragem: Um LLM validador pontua itens candidatos contra cinco critérios adaptados de boas práticas de elaboração de itens:

   • Fluência gramatical.
   • Unicidade de resposta única (ausência de ambiguidade na resposta correta).
   • Unicidade de opções (distratores não sobrepostos).
   • Capacidade de resposta a partir da evidência fornecida (servindo como um proxy para alucinação).
   • Relevância do tópico.
     Itens que falham em qualquer critério são descartados.

O framework é instanciado usando Wikipedia/Wikidata como a ontologia, mas é projetado para ser agnóstico a domínio e ontologia. Utiliza o GPT-4o-mini para todas as chamadas de LLM para manter um cenário de avaliação consciente de custos e de tokens.

Principais Contribuições

• Representação de KG Reutilizável: O KNIGHT introduz um método para construir um KG específico de um tópico uma única vez e armazená-lo em cache, permitindo a geração de múltiplas variantes de questões (diferentes níveis de dificuldade, formatos e alvos) sem realimentar repetidamente documentos de origem longos. Isso reduz significativamente o uso de tokens e o custo em comparação com o prompting ingênuo ou baselines padrão de RAG.
• Controle de Dificuldade Adaptativa: Ao alavancar a profundidade do grafo e a estrutura do caminho, o KNIGHT permite o controle explícito sobre a dificuldade das questões, facilitando a criação de avaliações alinhadas ao currículo com requisitos de raciocínio de múltiplos saltos.
• Pipeline de Avaliação Abrangente: O framework integra extração baseada em RAG, geração guiada por KG e validação baseada em LLM em um pipeline modular que mitiga a alucinação e garante validade pedagógica.
• Implementação de Código Aberto: Os autores fornecem um pacote público no PyPI e no GitHub, oferecendo uma alternativa reprodutível e eficiente em termos de tokens aos benchmarks estáticos.

Resultados Experimentais

Os autores avaliaram o KNIGHT em seis conjuntos de dados em História, Biologia e Matemática, cobrindo dois níveis de dificuldade (Nível 1 e Nível 3). Eles compararam o KNIGHT completo contra ablations: Plain (sem evidência), RAG (apenas evidência), RAG+KG (evidência + KG, sem validador) e RAG+Val (evidência + validador, sem KG).

• Métricas de Qualidade: O KNIGHT alcançou pontuações altas em qualidade linguística (fluência, gramática) e superou significativamente os baselines em métricas de validade. Produziu as menores taxas de itens "não respondíveis" (proxy de alucinação), chaves ambíguas e opções duplicadas.
• Calibragem de Dificuldade: A análise de entropia preditiva usando um modelo de sonda fixo (LLaMA 3.2-3B) mostrou que o KNIGHT gerou com sucesso itens mais difíceis no Nível 3 (maior entropia, menor precisão da sonda) em comparação ao Nível 1. Crucialmente, o aumento da dificuldade não degradou a validade dos itens.
• Qualidade dos Distratores: A abordagem guiada por KG (RAG+KG) foi identificada como o principal motor para gerar distratores competitivos (maior entropia), enquanto o RAG sozinho ou a validação sozinha falharam em induzir uma separação de dificuldade significativa.
• Utilidade do Benchmark: O ranking dos modelos nos conjuntos de dados do KNIGHT alinhou-se estreitamente com benchmarks estabelecidos como MMLU, ARC e CSQA, sugerindo que os conjuntos de dados gerados capturam fatores de competência geral de QA.
• Eficiência: O framework demonstrou eficiência de tokens, com média de ~600 tokens por questão ao reutilizar o KG em cache, comparado aos custos mais altos de reingestão de contextos longos em abordagens padrão de RAG. Os tempos de geração em hardware comum (Google Colab T4) foram práticos (minutos a ~40 minutos por conjunto de dados).

Significância e Alegações

O artigo posiciona o KNIGHT não apenas como um novo conjunto de dados, mas como um gerador de benchmarks escalável e de baixo custo. Sua principal significância reside em abordar o gargalo da curadoria de conjuntos de dados para a avaliação de LLMs. Ao desacoplar a fase cara de extração de conhecimento (construção do KG) da fase de geração, o KNIGHT permite:

1. Atualização Rápida: Diferente de benchmarks estáticos que exigem esforço substancial de especialistas para atualização, o KNIGHT permite atualizações frequentes e específicas de tópicos.
2. Controle do Instrutor: Fornece controle explícito sobre dificuldade e estrutura de múltiplos saltos, algo que frequentemente falta em suítes de cobertura ampla e estáticas.
3. Custo-Efetividade: Oferece uma alternativa eficiente em termos de tokens para pipelines de prompting ingênuo, tornando a avaliação de alta qualidade acessível sem custos computacionais proibitivos.

Os autores concluem que o KNIGHT complementa os benchmarks amplos existentes ao oferecer uma ferramenta flexível, reprodutível e adaptável ao domínio para a criação de conjuntos de avaliação rigorosos e fundamentados em fatos. Eles reconhecem limitações quanto à generalização para domínios intensivos em cálculos (ex: física) e a presença residual de alucinações, mas afirmam que o framework melhora substancialmente a validade em relação às abordagens de apenas recuperação.