From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

Resumo Técnico: De Recursos de Aprendizagem a Competências: Etiquetagem Baseada em LLM com Evidências e Restrições de Grafos

Formulação do Problema
O artigo aborda o desafio de alinhar automaticamente recursos heterogêneos de Sistemas de Gestão de Aprendizagem (LMS) (por exemplo, PDFs, apresentações, quizzes, tarefas) com estruturas de competências institucionais organizadas. Embora a etiquetagem manual seja precisa, é intensiva em mão de obra e difícil de escalar. Métodos totalmente automáticos frequentemente carecem de transparência, tornando-os inadequados para auditoria educacional. O problema central é definido como o cálculo de um mapeamento de competências ao nível do recurso $M: R \to 2^C$ (onde $R$ é um conjunto de recursos e $C$ é um conjunto de nós de competência em um grafo direcionado $G$) que seja tanto preciso quanto rastreável através de intervalos de evidência verificáveis no texto.

Metodologia: O Pipeline LBG
Os autores propõem um pipeline de ponta a ponta, denominado LBG (LLM+BM25+Grafo), que opera ao nível do fragmento antes de agregar ao nível do recurso. O processo consiste em quatro etapas distintas:

1. Representação e Fragmentação de Recursos:
   Recursos heterogêneos do LMS são decompostos em fragmentos pedagógicos ($\phi(r)$) com base em estruturas autoradas pelo instrutor (por exemplo, seções, slides, itens de quiz). Se a estrutura explícita estiver ausente, a segmentação de fallback utiliza limites de parágrafo e de frase. Cada fragmento retém metadados de proveniência para permitir auditoria posterior.

2. Geração de Candidatos (Recuperação):
   Para restringir o espaço de previsão e evitar geração sem restrições, o sistema recupera um conjunto limitado dos $K$ principais candidatos de competências ($Cand(x)$) para cada fragmento $x$. Isso é alcançado comparando o texto do fragmento com perfis de competência (contendo rótulos, descrições, sinônimos e contexto do grafo) usando classificação lexical (BM25).

3. Etiquetagem Baseada em LLM com Evidências:
   Um Modelo de Linguagem Grande (LLM), especificamente gpt-4o-mini, atua como um módulo de decisão semântica restrito. Dado um fragmento e seu conjunto de candidatos recuperados, o LLM:

   • Seleciona competências relevantes exclusivamente do conjunto de candidatos.
   • Atribui uma pontuação de confiança.
   • Extrai um intervalo de evidência verificável (deslocamentos de caracteres) do texto do fragmento que suporta a seleção.
     As saídas são formatadas em um esquema JSON estrito para garantir a analisabilidade por máquina.

4. Reconciliação e Agregação Conscientes do Grafo:
   As previsões ao nível do fragmento são refinadas usando as relações estruturais do grafo de competências $G$ (por exemplo, pré-requisitos, relações hierárquicas). Esta etapa realiza:

   • Controle de Granularidade: Reduzindo atribuições redundantes entre nós pais e filhos.
   • Verificações de Coerência de Pré-requisitos: Sinalizando etiquetas potencialmente incoerentes (por exemplo, uma competência avançada prevista sem evidência de seus pré-requisitos) sem forçar correção automática.
   • Duplicação: Mesclando previsões sobrepostas.
     Finalmente, as pontuações dos fragmentos são agregadas (via soma ponderada ou máximo) para produzir uma pontuação de competência ao nível do recurso, que é submetida a um limiar para gerar o mapeamento final.

Principais Contribuições

• Etiquetagem Fundamentada em Evidências: Diferentemente da classificação padrão, o pipeline exige que o modelo saia com intervalos de texto específicos que justifiquem cada etiqueta, facilitando a auditoria humana e a transparência.
• Espaço de Decisão Restrito: Ao integrar recuperação (BM25) com seleção de LLM, o método mitiga o problema de LLMs alucinar competências ou performar mal em frameworks locais menos representados.
• Reconciliação Consciente do Grafo: A abordagem utiliza explicitamente a topologia do grafo de competências (pré-requisitos e hierarquias) para pós-processar previsões, garantindo consistência estrutural na saída final.
• Pipeline de Ponta a Ponta: O sistema preenche a lacuna entre conteúdo bruto do LMS e análises estruturadas de competências, operando efetivamente através de tipos de recursos heterogêneos.

Resultados Experimentais
A abordagem foi avaliada em um conjunto de dados do departamento de Ciência da Computação da Université de Technologie de Compiègne (UTC), compreendendo 430 recursos, 26 unidades curriculares e 22 competências. A avaliação utilizou validação cruzada de 5 dobras ao nível da unidade curricular.

• Desempenho: O pipeline LBG alcançou um Micro-F1 de 0,571 e um Macro-F1 de 0,504 ao nível do fragmento, e um Macro-F1 de 0,507 ao nível do recurso.
• Vantagem Comparativa: O LBG superou:
  • LLMs Zero-shot e Few-shot: Que careciam de restrições de recuperação e reconciliação de grafo.
  • Linhas de Base de Recuperação/Similaridade: Incluindo BM25, codificadores bi-densos densos e SBERT, que lutaram ao converter listas classificadas em previsões multirrótulo.
  • Classificadores Supervisionados: Incluindo LogReg, LinearSVC e um Transformer Supervisionado, que generalizaram menos efetivamente através de unidades curriculares não vistas.
• Validade das Evidências: O LBG alcançou a maior Validade de Intervalo (0,511) entre os métodos que produzem intervalos, indicando que a abordagem restrita estabiliza a extração de evidências mecanicamente rastreáveis.
• Qualidade da Classificação: O pipeline alcançou um Recíproco Médio de Classificação (MRR) de 0,82, significativamente maior que as linhas de base, sugerindo que as competências corretas são classificadas altamente na lista de candidatos.

Significado e Alegações
O artigo alega que combinar a etiquetagem de LLM restrita por recuperação com reconciliação baseada em grafos oferece uma solução robusta para análises de currículo baseadas em competências. Os autores enfatizam que seu método produz intervalos de evidência mecanicamente rastreáveis, o que é crítico para auditoria humana e análise educacional, abordando a natureza de "caixa preta" das saídas padrão de LLM.

Os resultados sugerem que, embora os LLMs mostrem promessa para etiquetagem de habilidades, seu desempenho em frameworks locais é significativamente aprimorado ao restringir o espaço de rótulos via recuperação e impor consistência estrutural via restrições de grafo. Os autores notam que sua abordagem é agnóstica ao modelo e que o design do pipeline suporta aplicações downstream de LMS, como recuperação baseada em competências, alinhamento de avaliação e análise de cobertura curricular.

Limitações
Os autores modestamente reconhecem várias limitações:

• A avaliação está restrita a um único quadro institucional (Ciência da Computação da UTC) e recursos apenas de texto.
• A métrica de validade de evidência testa a rastreabilidade mecânica de deslocamentos em vez de fidelidade semântica (ou seja, se o texto realmente justifica a etiqueta).
• O sistema depende do texto do perfil de competência para recuperação, o que pode limitar o desempenho em competências altamente ambíguas ou implícitas sem restrições de grafo mais ricas.
• Trabalhos futuros são necessários para validar a abordagem em taxonomias maiores e multilíngues (por exemplo, ESCO, ROME) e para melhorar a geração de candidatos.