Detecting Knowledge Gaps from Conversational AI Interactions Using Curriculum Prerequisite Graphs

Resumo Técnico: Detecção de Lacunas de Conhecimento em Interações de IA Conversacional Usando Grafos de Pré-requisitos de Currículo

Definição do Problema
Cursos online de larga escala geram vastos registros de interação de assistentes de ensino baseados em IA conversacional, mas esses dados permanecem amplamente subutilizados para fins de diagnóstico individualizado. Embora os métodos existentes de detecção de lacunas de conhecimento dependam de respostas estruturadas de itens (ex: respostas corretas/incorretas a avaliações) alinhadas a taxonomias de habilidades, eles não conseguem processar perguntas de conversação de formato livre. Essas perguntas não estruturadas são difíceis de analisar porque carecem de mapeamento explícito para tópicos do currículo, e o sinal diagnóstico (dificuldade do aluno) é implícito. O desafio reside em transformar perguntas brutas de alunos em sinais fundamentados no currículo que reflitam lacunas reais de conhecimento em nível de tópico, sem exigir um banco de itens pré-existente ou uma avaliação de correção por pergunta.

Metodologia
Os autores propõem um pipeline de cinco etapas que faz a ponte entre os logs de conversação e a estrutura do currículo usando um classificador de texto de poucos disparos (few-shot) e um grafo de conhecimento de pré-requisitos.

1. Construção do Grafo de Conhecimento:

   • Fonte: 26 PDFs de lições de um curso de pós-graduação em IA.
   • Processo: Um instrutor especialista no domínio utilizou o GPT-4 em um protocolo de três estágios para extrair 54 tópicos ensináveis distintos e 47 arestas de pré-requisito direcionadas (ex: Redes Semânticas → Frames).
   • Validação: Relações ambíguas ou bidirecionais foram descartadas para garantir uma estrutura defensável e auditável pelo instrutor. Este grafo define o espaço de rótulos fechado para o pipeline.

2. Classificação de Perguntas (Hipótese H1):

   • Rotulagem: O GPT-4 foi utilizado para gerar rótulos de treinamento para 1.046 perguntas únicas de alunos contra o espaço de 54 tópicos (mais uma classe "desconhecido").
   • Modelo: Um classificador FastFit (um modelo de classificação de texto de poucos disparos usando aprendizado contrastivo em lote sobre embeddings de sentenças) foi treinado nos dados rotulados pelo LLM.
   • Arquitetia: O modelo utiliza um backbone de embedding de sentença all-mpnet-base-v2 congelado.
   • Tratamento de Dados: Para lidar com o desequilíbrio de classes (mediana de 5 amostras por tópico, máximo de 89), a classe "desconhecido" foi subamostrada, e os tópicos de baixa frequência foram aumentados com paráfrases derivadas de suas definições no grafo de conhecimento. O pool de treinamento final consistiu em 737 itens através de 43 classes efetivas (42 tópicos + 1 desconhecido).

3. Validação por Pesquisa (Hipótese H2):

   • Métrica: O pipeline compara o volume de perguntas do assistente por tópico contra a dificuldade autorrelatada de uma pesquisa de meio de semestre via Qualtrics ($n=280$).
   • Alinhamento: 28 tópicos foram manualmente combinados entre a lista da pesquisa e os nós do grafo de conhecimento.
   • Análise: A correlação de postos de Spearman ($\rho$) foi computada para testar se o alto volume de perguntas correlaciona-se com a alta dificuldade autorrelatada.

Principais Resultados

• Acurácia de Classificação (H1): O classificador FastFit alcançou 80,0% de acurácia e um F1 macro de 0,669 em um conjunto de ouro de 70 perguntas anotadas por humanos (43 classes). Este desempenho superou ligeiramente o uso do GPT-4 diretamente como um classificador de inferência (78,6% de acurácia).
  • Análise de Erro: As classificações incorretas agruparam-se em três padrões: armadilhas de palavras-chave superficiais, confusão entre tópicos de raciocínio adjacentes (ex: Raciocínio Analógico vs. Redução de Problemas) e perguntas vagas que disparam a classe de abstenção.
• Alinhamento de Pesquisa (H2): Foi encontrada uma correlação positiva estatisticamente significativa entre o volume de perguntas por tópico e a dificuldade autorrelatada ($\rho = 0,491, p = 0,008$) entre os 28 tópicos correspondentes.
  • Observação: Tópicos com o maior volume de perguntas (ex: Raciocínio Analógico, Generalização) geralmente alinharam-se com os tópicos relatados pelos alunos como mais difíceis.

Significância e Alegações
O artigo afirma que os logs de interação de IA conversacional, quando mapeados em um grafo de conhecimento de pré-requisitos de currículo, fornecem sinais acionáveis sobre lacunas de conhecimento em nível de tópico. A significância deste trabalho reside em:

1. Granularidade Acionável: Ao tratar os tópicos (em vez de perguntas individuais) como a unidade analítica, o sistema produz sinais que correspondem à granularidade na qual os instrutores podem intervir.
2. Fundamentação Curricular: A abordagem valida a dificuldade do aluno contra uma estrutura de currículo independente e elaborada pelo instrutor, em vez de depender apenas de proxies de engajamento ou métricas de retenção.
3. Viabilidade sem Bancos de Itens: O pipeline demonstra que sinais diagnósticos podem ser extraídos de textos de formato livre usando aprendizado de poucos disparos e grafos extraídos por LLM, contornando a necessidade de bancos de itens cuidadosamente projetados ou modelos de rastreamento de conhecimento bayesiano.

Limitações e Direções Futuras
Os autores explicitamente notam três limitações:

1. A taxa de erro de classificação de 20% introduz ruído nos rótulos, provavelmente atenuando a correlação medida.
2. A avaliação é limitada a um único curso de pós-graduação em IA; a replicação em outras disciplinas é necessária.
3. Os resultados atuais são agregados (nível de coorte) e ainda não identificam estudantes individuais enfrentando dificuldades em tópicos específicos.

O trabalho futuro visa estender este pipeline para:

• Detecção de lacunas por estudante: Identificar estudantes cujas distribuições de perguntas divergem de forma anômala da coorte.
• Propagação de pré-requisitos: Usar as arestas do grafo para rastrear dificuldades subsequentes de volta aos pré-requisitos de causa raiz upstream para indivíduos.
• Estudos de intervenção: Testar um dashboard de ciclo fechado onde prompts de remediação fundamentados no currículo são apresentados a instrutores ou estudantes.