Analyzing Curricular Pattern Complexity Using AI to Improve On-Time Graduation Rates

Resumo Técnico: Analisando a Complexidade de Padrões Curriculares Usando IA para Melhorar as Taxas de Graduação no Tempo Previsto

Definição do Problema
Programas de graduação, particularmente em campos como Engenharia de Software, frequentemente sofrem de "complexidade curricular". Essa complexidade surge de sequências longas e rígidas de cursos pré-requisitos. Quando um aluno reprova em um curso dentro de um caminho crítico, a natureza sequencial do currículo pode atrasar a graduação em um semestre ou até mesmo um ano acadêmico completo. Identificar esses gargalos e revisar currículos para melhorar as taxas de graduação no tempo previsto é, tradicionalmente, um processo manual e trabalhoso para o corpo docente universitário. Consequentemente, as atualizações curriculares são infrequentes e têm dificuldade em acompanhar as necessidades em evolução dos alunos. Os autores postulam que a Inteligência Artificial (IA), especificamente os Modelos de Linguagem de Grande Escala (LLMs), pode automatizar a análise de padrões curriculares e pré-requisitos para reduzir esses atrasos de forma mais eficiente do que os métodos manuais.

Metodologia
O estudo empregou uma abordagem experimental comparativa para avaliar a eficácia de vários LLMs na análise e revisão de um currículo específico: o Bacharelado em Engenharia de Software da Embry-Riddle Aeronautical University.

1. Entrada de Dados: Os pesquisadores forneceram aos LLMs o framework de Heileman et al. para calcular a complexidade curricular (definindo fatores de bloqueio, fatores de atraso e crucialidade), o fluxograma do programa de graduação e descrições detalhadas de cursos.
2. Seleção de Modelos: Cinco LLMs distintos foram testados:
   • ChatGPT 5.3
   • Claude Sonnet 4.6
   • Gemini 3.1 Flash Lite Preview
   • Amazon Nova 2 Lite
   • Claude Opus 4.1
   • Adicionalmente, uma configuração de Geração Aumentada de Recuperação (RAG) usando o Claude Sonnet 4.6 foi testada para verificar se o embasamento do modelo em documentos externos melhorava o desempenho.
3. Critérios de Avaliação: Os modelos foram avaliados em quatro métricas:
   • Compreensão de conceitos de complexidade curricular.
   • Precisão na execução de cálculos de fatores de bloqueio e atraso.
   • Qualidade e formatação da saída de dados.
   • A porcentagem de sugestões acionáveis "razoáveis" (definidas como mudanças viáveis que não violam restrições acadêmicas).
4. Validação: As sugestões geradas pelo modelo de maior desempenho foram revisadas por dois professores seniores de Engenharia de Software para validar a viabilidade e identificar consequências indesejadas.

Principais Contribuições
O artigo apresenta quatro contribuições primárias para o domínio da análise de dados educacionais:

1. Análise Comparativa: Fornece uma comparação sistemática de múltiplos LLMs de última geração e um LLM com RAG para a tarefa específica de análise curricular.
2. Aplicação de LLMs à Complexidade: Demonstra a aplicação de LLMs para analisar a complexidade curricular de uma graduação, indo além da modelagem teórica.
3. Revisão Automatizada: Utiliza um LLM para gerar revisões curriculares específicas e acionáveis visando reduzir gargalos.
4. Validação Docente: Valida as mudanças curriculares geradas por IA por meio de uma pesquisa com o corpo docente da universidade, unindo a lacuna entre sugestões algorítmicas e a realidade acadêmica.

Resultos
Os resultados experimentais destacaram uma variação significativa no desempenho dos modelos:

• Melhor Desempenho: O Claude Sonnet 4.6 emergiu como a ferramenta mais eficaz. Foi o único modelo que explicou corretamente os conceitos de complexidade, calculou com precisão os fatores de bloqueio e atraso, e forneceu uma alta porcentagem de sugestões razoáveis (83%). Ele também gerou uma ferramenta interativa em JavaScript para visualizar a análise.
• Outros Modelos:
  • ChatGPT 5.3: Explicou corretamente os conceitos, mas falhou nos cálculos matemáticos dos fatores de complexidade, tornando suas saídas de dados específicas pouco confiáveis, apesar de oferecer sugestões de alto nível razoáveis.
  • Gemini 3.1 Flash Lite: Identificou corretamente os conceitos, mas falhou ao calcular os fatores de bloqueio e atraso específicos com precisão.
  • Nova 2 Lite: Descreveu corretamente os conceitos, mas falhou nos cálculos e ofereceu sugestões ruins e, muitas vezes, ilógicas (ex: paralelizar cursos que não podem ser paralelizados).
  • Claude Opus 4.1: Identificou corretamente os caminhos de pré-requisitos, mas cometeu erros consistentes nos cálculos de fatores de atraso e sugeriu a remoção de pré-requisitos inexistentes.
• Desempenho do RAG: A implementação de RAG usando o Sonnet 4.6 não melhorou o desempenho. O modelo teve dificuldade em recuperar e interpretar os dados do fluxograma visual do corpus externo, tornando-se confuso. Os autores observaram que o processamento de fluxogramas visuais provavelmente exigiria Reconhecimento Óptico de Caracteres (OCR) ou Modelos de Linguagem Visual (VLMs), o que adicionaria complexidade e reduziria a acessibilidade.

Sugestões de Revisão e Feedback Docente
O Sonnet 4.6 sugeriu várias mudanças específicas, incluindo a movimentação de certos cursos (ex: CS 222, SE 420) para semestres anteriores, a remoção de pré-requisitos específicos (ex: SE 310/320 para o capstone) e a oferta de cursos-chave tanto no semestre de outono quanto no de primavera.

A validação docente revelou uma realidade matizada:

• Embora as sugestões fossem um "bom ponto de partida", elas continham imprecisões em relação às ofertas atuais do departamento (ex: o modelo sugeriu oferecer cursos em ambos os semestres, mas o departamento já o faz).
• Os professores observaram que mover cursos para períodos anteriores poderia causar sobrecarga de créditos nos semestres iniciais.
• Algumas sugestões tiveram consequências indesejadas, como afetar cursos de pós-graduação com dupla listagem ou requisitos de acreditação ABET.
• Crucialmente, os professores enfatizaram que essas sugestões não poderiam ser adotadas isoladamente e requeriam a modelagem adicional de seu impacto nas taxas de graduação e na distribuição de créditos.

Significância e Alegações
O artigo alega modestamente que o Sonnet 4.6 (sem RAG) é atualmente a melhor ferramenta disponível para analisar a complexidade curricular devido à sua capacidade de calcular corretamente os fatores de complexidade e formatar os resultados para revisão humana.

Os autores afirmam que, embora os LLMs possam acelerar significamente o processo de análise e gerar hipóteses intrigantes para a revisão curricular, eles ainda não são um substituto para o julgamento humano. O estudo conclui que os LLMs servem como uma poderosa ferramenta de "brainstorming" para identificar potenciais gargalos e sugerir revisões, mas essas sugestões devem ser rigorosamente modeladas e validadas pelos professores antes da implementação. O trabalho destaca o potencial da IA para reduzir o tempo de mudança dos currículos, embora reconheça as limitações atuais no processamento de dados visuais (fluxogramas) e a necessidade de supervisão humana para considerar restrições institucionais e consequências indesejadas.