Resumo Técnico: LearnOpt – Recuperando a Estrutura Cognitiva Latente de Exames Padronizados

1. Declaração do Problema

A preparação para exames padronizados na Índia, particularmente para o National Eligibility cum Entrance Test (NEET), é tradicionalmente abordada como um problema de cobertura de currículo uniforme. Estudantes e centros de treinamento tipicamente alocam tempo de forma equitativa entre os capítulos ou priorizam com base na frequência histórica de tópicos. Os autores argumentam que essa abordagem sofre de duas falhas estruturais:

1. Amostragem Não Uniforme: Os exames não amostram o currículo uniformemente; certas operações cognitivas aparecem com frequências sistematicamente mais altas do que outras.
2. Conflito entre Tópico e Habilidade: Questões dentro do mesmo capítulo do currículo podem exigir operações cognitivas inteiramente diferentes (ex: recuperação direta de fatos vs. integração de múltiplos conceitos), mas as estratégias padrão tratam essas diferenças como equivalentes.

O desafio central é reformular a preparação para o exame como um problema de otimização com restrições: maximizar o ganho de pontuação esperado dado um orçamento fixo de tempo e o estado atual de conhecimento do estudante. Isso requer a "suposição de estacionariedade"—que a estrutura cognitiva latente do exame é estável o suficiente ao longo do tempo para tornar os dados históricos preditivos. O artigo investiga se essa suposição se mantém para o NEET e, se não, como detectar e adaptar-se a mudanças de regime.

2. Metodologia: O Framework LearnOpt

O LearnOpt é um pipeline de quatro componentes projetado para recuperar a estrutura latente do exame e gerar planos de estudo personalizados.

2.1 Ingestão de Dados e Tagging por LLM

• Entrada: 1.496 questões de língua inglesa do NEET de 2016–2024 (Biologia, Química, Física).
• Processo: Os PDFs brutos são extraídos via PyMuPDF. Cada questão é processada por um Modelo de Linguagem de Grande Escala (LLM) utilizando um prompt de cadeia de evidência (chain-of-evidence prompt).
• Saída: Registros estruturados em JSON contendo a questão, opções, resposta e uma classificação em uma de cinco categorias de habilidades latentes (S1–S5). O LLM deve fornecer evidência textual para a classificação para permitir a revisão humana.
• Confiabilidade: A concordância inter-modelo (Kappa de Cohen) entre dois LLMs diferentes em um subconjimento de 74 questões foi de 0,51 (moderada). As divergências concentraram-se na fronteira entre "Aplicação Conceitual" (S2), "Integração de Múltiplos Conceitos" (S3) e "Raciocínio Quantitativo" (S4), enquanto a categoria "Eliminação/Negação" (S5) apresentou alta concordância.

2.2 Grafo de Conhecimento do Exame

• Estrutura: Um grafo $G=(V, E)$ armazenado no FalkorDB.
• Nós: Questões, Tópicos, Capítulos, Disciplinas, Habilidades e Seções do NCERT.
• Arestas: As relações incluem TESTA (TESTS), PARTE_DE (PART_OF), REQUER_HABILIDADE (REQUIRES_SKILL), ENSINADO_EM (TAUGHT_IN) e PRÉ-REQUISITO_DE (PREREQUISITE_OF).
• Construção: As arestas de pré-requisito são inferidas a partir da sequenciação de capítulos do NCERT e das dependências conceituais inferidas pelo LLM.

2.3 Taxonomia de Habilidades Latentes

Os autores definem cinco categorias de habilidades baseadas na discriminabilidade estrutural de superfície (evitando a baixa confiabilidade inter-avaliador da Taxonomia de Bloom de 6 níveis):

• S1 (Recuperação Direta): Recuperação de um fato único.
• S2 (Aplicação Conceitual): Aplicar um princípio conhecido a um novo contexto.
• S3 (Integração de Múltiplos Conceitos): Combinar conhecimentos de capítulos distintos.
• S4 (Raciocínio Quantitativo): Cálculo numérico ou aplicação de fórmula.
• S5 (Eliminação/Negação): Questões estruturadas como "qual NÃO é correta" ou "todas EXCETO", exigindo verificação exaustiva de afirmações.

2.4 Mecanismo de Otimização de Estudo

O plano de estudo é formulado como uma variante do Problema da Mochila (Knapsack Problem), resolvido via solver Google OR-Tools CP-SAT.

• Objetivo: Maximizar o ganho de pontuação esperada.
• Restrições: Orçamento de tempo e ordenação de pré-requisitos (um estudante não pode dominar um conceito sem os pré-requisitos).
• Função de Valor: Incorpora a frequência histórica ($R_i$), o domínio atual ($m_i$) e um termo ponderado por habilidade ($W_s$) baseado na frequência empírica da categoria de habilidade no exame.
• Modelo de Aprendizagem: Utiliza Rastreamento de Conhecimento Bayesiano (BKT) com restrições de consciência de pré-requisitos para atualizar os estados de domínio após cada sessão de estudo.

3. Resultados Principais

3.1 Estabilidade de Regime e Ruptura Estrutural

A análise do conjunto de dados 2016–2024 revela que a distribuição de habilidades latentes do NEET é estacionária por partes (piecewise stationary):

• Regime Pré-2023 (2016–2021): A distribuição é estável. A divergência de Kullback-Leibler (KL) consecutiva entre anos varia de 0,004 a 0,032, sem mudanças significativas sob teste de permutação ($p > 0,05$).
• A Mudança de 2023: Uma ruptura estrutural significativa ocorre coincidindo com a racionalização do currículo NCERT 2023.
  • Comparação: O agrupamento de 2016–2021 ($n=1.072$) vs. 2023–2024 ($n=392$) resulta em uma divergência KL de 0,040 ($p=0,0005$).
  • Natureza da Mudança: Questões de Recuperação Direta (S1) caíram de ~4–6% para ~2%. Questões de Eliminação/Negação (S5) subiram de ~20–29% para ~31–35%.
  • Atribuição: A mudança é atribuída à remoção de capítulos inteiros do currículo do NCERT, forçando os elaboradores de questões a testar o material restante de forma mais rigorosa via verificação de múltiplas afirmações (S5) em vez de recuperação de fatos isolados (S1).

3.2 Preditores de Disciplina vs. Tempo

Dentro de um regime de currículo, a disciplina prevê o perfil de habilidades com mais força do que o ano.

• Física: Dominada por Integração de Múltiplos Conceitos (S3, 51,9%) e quase desprovida de S5.
• Biologia: Rica em S5 (34,6%) e S1 (7,8%).
• Química: Equilibrada entre S2 e S3.
• Divergência: A divergência KL entre disciplinas (ex: Física vs. Biologia = 0,420) supera em muito a divergência ano a ano dentro de um regime (máximo de 0,032).

3.3 Avaliação da Otimização

O objetivo ponderado por habilidade foi testado contra duas linhas de base (Cobertura Uniforme e apenas Frequência de Tópicos) através de três perfis de estudantes (um real e dois sintéticos).

• Descobertas: A abordagem ponderada por habilidade produziu um reordenamento modesto, porém real, das tópicos recomendados. Por exemplo, ela priorizou tópicos dominados por S5 (alta frequência no regime pós-2023) sobre tópicos com frequência histórica semelhante, mas perfis de habilidade com menor peso.
• Limitação: O sinal de personalização foi diluído porque apenas 28,2% das questões puderam ser mapeadas para os aproximadamente 18 tópicos usados na autoavaliação do estudante; o restante assumiu valores neutros.

3.4 Comparação entre Exames (JEE Advanced)

A aplicação do pipeline ao JEE Advanced revelou uma estrutura cognitiva fundamentalmente diferente:

• JEE Advanced: Dominado por Integração de Múltiplos Conceitos (80,9%) com quase nenhuma recuperação pura.
• Divergência: A divergência KL entre o JEE Advanced e o NEET (0,505) excede a maior divergência entre disciplinas dentro do NEET, indicando que o nível do exame molda a estrutura latente mais do que a disciplina.

4. Significância e Alegações

O artigo reivindica as seguintes contribuições:

1. Evidência Empírica de Estacionariedade por Partes: Demonstra que, embora as estruturas dos exames não sejam permanentemente estáticas, elas são estáveis dentro de identificáveis regimes de currículo. Isso valida o uso de dados históricos para otimização desde que as mudanças de regime (como as mudanças do NCERT de 2023) sejam detectadas e contabilizadas.
2. Extração de Habilidades Latentes: Introduz uma taxonomia de cinco categorias que captura características estruturais de MCQs (especificamente S5: Eliminação/Negação) frequentemente negligenciadas por taxonomias padrão, mostrando que o formato da questão é um preditor distinto da demanda cognitiva.
3. Framework de Otimização: Apresenta o LearnOpt, um sistema que vai além do conselho de "capítulo de alta relevância" para um modelo de otimização com restrições que pondera o tempo de estudo tanto pela frequência do tópico quanto pela demanda cognitiva empírica do exame.
4. Dados Abertos: Os autores liberam o código, o grafo de conhecimento e o conjunto de dados anotado (1.496 questões com tags de habilidade) para permitir a verificação independente desses padrões.

Os autores mantêm a modéstia quanto ao estado atual da ferramenta, observando que o sinal de personalização é atualmente limitado pela granularidade do mapeamento de tópicos e que os dados de 2025 não puderam ser analisados de forma confiável devido à falta de texto completo das questões nas fontes disponíveis. A principal contribuição é a análise da estrutura latente do exame em vez de um sistema de tutoria totalmente maduro e pronto para produção.