Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

Resumo Técnico: Fidelidade de Classificação de Modelos de Linguagem de Grande Escala em Itens de Endodontia do Exame de Especialidade Odontológica Turco

Definição do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais utilizados na educação e avaliação odontológica, as pesquisas existentes concentraram-se quase exclusivamente na acurácia da resposta (ou seja, se o modelo seleciona a opção correta). Existe uma lacuna crítica quanto à capacidade dos LLMs de identificar com confiabilidade a demanda cognitiva dos itens de exame. Esta capacidade é distinta de responder corretamente e é essencial para a garantia da qualidade da avaliação e o mapeamento curricular. Além disso, não se sabe se os LLMs podem classificar consistentemente a complexidade cognitiva através de múltiplas e distintas taxonomias educacionais (Bloom Revisada, SOLO e Pirâmide de Miller) ou se o seu desempenho varia significativamente entre modelos e estruturas.

Metodologia
O estudo empregou um delineamento observacional transversal para avaliar a fidelidade de classificação de quatro LLMs acessíveis ao público: ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5) e DeepSeek (V3.2).

• Conjunto de Dados: 200 questões de múltipla escolha de endodontia do Exame de Especialidade de Odontologia Turca (DUS) administrado entre 2012 e 2025. Os itens foram apresentados em sua língua original, o turco.
• Padrão-Ouro (Gold Standard): Um procedimento de consenso de três camadas estabeleceu a verdade fundamental. Dois especialistas (um endodontista e um prostodontista com experiência educacional) classificaram os itens de forma independente, seguido por uma sessão de treinamento de calibração, uma auditoria processual por um consultor externo e uma deliberação conjunta estruturada para resolver divergências.
• Taxonomias: Cada item foi classificado de acordo com:
  1. Taxonomia de Bloom Revisada: Seis níveis (do Lembrar ao Criar).
  2. Taxonomia SOLO: Cinco níveis (do Pré-estrutural ao Abstrato Estendido).
  3. Pirâmide de Miller: Quatro níveis (Saber ao Fazer).
• Controles Experimentais: Os LLMs receberam um prompt padronizado em sessões de navegador incógnito dedicadas para eliminar efeitos de memória entre sessões e de personalização. Os parâmetros de geração (ex: temperatura) foram gerenciados pela plataforma e não eram modificáveis.
• Análise Estatística: A concordância foi medida usando o kappa de Cohen ponderado ($\kappa_w$) com intervalos de confiança de bootstrap de 95%. O desempenho de classificação foi avaliado via acurácia e escores F1 de média macro. As diferenças entre modelos foram testadas usando o teste Q de Cochran e testes de McNemar pareados com correção de Holm–Bonferroni.

Resultados Principais

1. Desempenho Dependente da Estrutura:

   • Taxonomia de Bloom: Gemini ($\kappa_w = 0,676$) e DeepSeek ($\kappa_w = 0,667$) alcançaram concordância substancial com o padrão-ouro. ChatGPT ($\kappa_w = 0,365$) e Kimi ($\kappa_w = 0,428$) alcançaram apenas concordância de regular a moderada.
   • Taxonomia SOLO: O Gemini liderou novamente com concordância substancial ($\kappa_w = 0,622$). Os outros modelos alcançaram concordância moderada ($\kappa_w$ variando entre 0,433–0,549).
   • Pirâmide de Miller: O desempenho foi significativamente mais fraco em todos os modelos. A concordância não excedeu o nível regular para qualquer modelo. O ChatGPT teve o melhor desempenho ($\kappa_w = 0,372$), enquanto Gemini, Kimi e DeepSeek alcançaram concordância de regular a leve.

2. Reversão Completa de Ranking:
   Um achado marcante foi a reversão total do ranking dos modelos entre as estruturas. Modelos que se destacaram em Bloom e SOLO (Gemini, DeepSeek) tiveram um desempenho insatisfatório na Pirâmide de Miller. Inversamente, o ChatGPT, que ocupou as posições mais baixas em Bloom e SOLO, alcançou a maior acurácia e concordância na Pirâmide de Miller.

3. Tendências de Nível Cognitivo:

   • A fidelidade de classificação declinou à medida que os níveis cognitivos aumentavam. Todos os modelos classificaram os níveis de pensamento de ordem inferior (Níveis 1–2 de Bloom) com maior fidelidade do que os de ordem superior (Níveis 3–5).
   • O ChatGPT exibiu um viés sistemático, classificando excessivamente itens de Nível 2 (Compreender) como Nível 4 (Analisar).
   • O DeepSeek identificou corretamente todos os cinco itens de Nível 5 (Avaliar), mas atribuiu o Nível 5 excessivamente a outros itens.
   • O Gemini demonstrou o perfil de erro de classificação mais equilibrado e foi o único modelo a mostrar escores F1 consistentes por nível em todos os três níveis SOLO.

4. Tendências Temporais:
   Foi encontrada uma correlação positiva significativa entre o ano do exame e o nível de Bloom do padrão-ouro ($\rho = 0,301, p < 0,001$), indicando que as questões de endodontia do DUS tornaram-se progressivamente mais cognitivamente exigentes de 2012 a 2025.

Contribuições Principais

• Desacoplamento da Acurácia da Classificação: O estudo demonstra que a acurácia da resposta e a fidelidade de classificação taxonômica são capacidades distintas. Um modelo pode responder perguntas corretamente (como observado em estudos anteriores para o ChatGPT) enquanto falha em identificar com precisão a complexidade cognitiva dessas questões.
• Não Intercambialidade das Taxonomias: Os resultados fornecem evidência empírica de que Bloom, SOLO e a Pirâmide de Miller avaliam construtos distintos. O desempenho de um LLM em uma estrutura não prevê seu desempenho em outra; portanto, elas não podem ser usadas de forma intercambiável como proxies para a demanda cognitiva.
• Orientação para Seleção de Modelos: O estudo oferece orientação específica para a seleção de LLMs com base no propósito da avaliação: Gemini e DeepSeek são superiores para o mapeamento de complexidade cognitiva (Bloom/SOLO), enquanto o ChatGPT mostrou força relativa na estratificação de aplicabilidade clínica (Miller), embora o desempenho geral em Miller tenha permanecido fraco.

Significância e Alegações
O artigo alega que os LLMs podem classificar a complexidade cognitiva com fidelidade significativa para as taxonomias de Bloom e SOLO, particularmente ao utilizar Gemini ou DeepSeek, mas que essa capacidade não é uniforme em todas as estruturas educacionais. Os autores enfatizam que a Pirâmide de Miller continua sendo um domínio desafiador para os atuais LLMs, com nenhum modelo alcançando concordância além do nível "regular".

O estudo conclui que, para a garantia da qualidade da avaliação e o mapeamento curricular, a seleção do LLM deve ser adaptada à taxonomia e ao propósito específicos. Além disso, o aumento observado na demanda cognitiva ao longo do tempo sugere que estudos que dependem de bancos de itens mais antigos podem superestimar o desempenho de classificação dos LLMs atuais. Finalmente, os autores afirmam que a fidelidade de classificação taxonômica deve ser avaliada independentemente da acurácia da resposta para garantir a validade das ferramentas educacionais assistidas por IA.