Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning

Resumo Técnico: Análise de Aprendizagem Multimodal Alinhada por Afinidade Cross-modal (AAMLA)

Enunciação do Problema
Ambientes de aprendizagem colaborativa baseados em jogos oferecem oportunidades ricas para a construção de conhecimento, contudo, prever automaticamente a satisfação dos alunos com a colaboração permanece desafiador. Uma barreira primária é a degradação de modalidades: em implementações educacionais, modalidades individuais (como o olhar) frequentemente exibem informatividade inconsistente entre diferentes coortes de alunos devido a ruído do sensor, oclusão e variação comportamental. Abordagens multimodais existentes tipicamente dependem de mecanismos de fusão por atenção cross-modal implícita que assumem que todas as modalidades contribuem com sinais igualmente informativos. Quando uma modalidade fraca ou ruidosa domina o mecanismo de atenção, isso causa erros em cascata, degradando a robustez da previsão. Simplesmente descartar modalidades afetadas não é uma solução viável, pois elas podem ainda carregar sinais úteis em outros contextos.

Metodologia: O Framework AAMLA
Os autores propõem a Análise de Aprendizagem Multimodal Alinhada por Afinidade (AAMLA), um framework projetado para prever a satisfação com a colaboração modelando explicitamente relações inter-modais e impondo consistência cross-modal. O framework processa quatro modalidades complementares extraídas das interações dos alunos no ambiente EcoJourneys:

1. Unidades de Ação Facial (AU): 17 valores de intensidade por quadro.
2. Pose da Cabeça: Coordenadas de translação e rotação 3D.
3. Olhar (Eye Gaze): Coordenadas 3D por olho.
4. Registros de Rastreamento de Interação: Codificados via um codificador de sentenças baseado em BERT.

A metodologia consiste em três etapas principais:

1. Codificação e Projeção Específicas por Modalidade:
   Cada fluxo de modalidade é processado por um codificador específico (GRU para AU, pose e olhar; rede feedforward para registros de rastreamento). Para lidar com dimensionalidades de características heterogêneas, camadas de projeção linear aprendíveis específicas por modalidade mapeiam todas as características para um espaço semântico unificado ($d=128$) antes do alinhamento.

2. Alinhamento de Modalidade Guiado por Afinidade Cross-modal (CAMA):
   Esta é a contribuição central do artigo. Diferentemente da fusão implícita, o CAMA modela explicitamente relações entre modalidades usando uma matriz de afinidade.

   • Estabilização: Para mitigar discrepâncias de características causadas por variação comportamental, o modelo calcula médias em nível de lote de pares de características originais e degradadas.
   • Modelagem de Afinidade: Uma matriz de afinidade simétrica é computada para capturar relações semânticas explícitas entre as modalidades.
   • Aprendizado Contrastivo: Guiado pela matriz de afinidade, uma perda contrastiva ($L_{aff}$) é aplicada. Esta perda aproxima embeddings de diferentes modalidades pertencentes à mesma atividade do aluno (pares positivos) e afasta embeddings de atividades diferentes (pares negativos).
   • Supressão Adaptativa: Este mecanismo permite que o modelo aprenda a suprimir adaptativamente modalidades não informativas ou degradadas (por exemplo, sinais de olhar inconsistentes) sem descartá-las completamente, garantindo representações estáveis mesmo sob degradação severa.

3. Objetivos de Treinamento:
   A função de perda total combina a perda padrão de classificação por entropia cruzada ($L_{CE}$) com a perda de alinhamento de afinidade ($L_{aff}$), ponderada por um hiperparâmetro $\alpha$ (definido como 0,25). Esta otimização conjunta garante tanto a precisão da classificação quanto a consistência das características cross-modal.

Contribuições Principais

• Módulo CAMA: Um módulo inovador que modela explicitamente relações inter-modais via matrizes de afinidade e impõe consistência através de aprendizado contrastivo, abordando as limitações da fusão implícita na presença de degradação de modalidades.
• Tratamento Adaptativo de Degradação: O framework demonstra a capacidade de suprimir dinamicamente modalidades não informativas em vez de descartá-las, mantendo desempenho robusto quando sinais específicos (como o olhar) são ruidosos ou ausentes.
• Espaço Semântico Unificado: O uso de camadas de projeção específicas por modalidade permite que características heterogêneas sejam mapeadas para um espaço coerente para comparação cross-modal direta.

Resultados Experimentais
Os experimentos foram conduzidos com dados de 50 alunos do ensino fundamental no ambiente EcoJourneys, utilizando um protocolo de validação cruzada de 10 dobras em nível de aluno.

• Desempenho: O AAMLA alcançou um escore F1 macro de 0,79 e precisão de 0,77, superando baselines unimodais (F1 $\approx$ 0,65–0,66) e a abordagem anterior por atenção cruzada (F1 = 0,72).
• Robustez sob Degradação: O AAMLA demonstrou superioridade consistente sob três condições de degradação:
  • Dropout de Olhar: Mesmo com 70% das características de olhar zeradas, o AAMLA manteve um F1 de 0,72, comparado a 0,52 para a baseline de atenção cruzada.
  • Perturbação de Características: Sob ruído gaussiano adicionado a AU e pose, o AAMLA superou significativamente a baseline.
  • Ausência Total de Modalidade: Quando modalidades inteiras foram removidas na inferência, o AAMLA manteve desempenho robusto (por exemplo, F1 = 0,73 sem AU), enquanto a baseline caiu significativamente.
• Estudos de Ablação: A remoção do módulo CAMA ou da perda contrastiva ($L_{aff}$) resultou em espaços de características fragmentados e desempenho reduzido, confirmando que tanto o alinhamento explícito quanto a supervisão contrastiva são necessários.
• Interpretabilidade:
  • Visualizações t-SNE: Mostraram que o AAMLA produz clusters compactos e semanticamente coerentes com separação interclasse clara, enquanto a remoção do CAMA levou a deriva cross-modal.
  • Análise SHAP: Confirmou que as características dos registros de rastreamento foram as mais preditivas, enquanto as características de olhar estiveram ausentes dos 20 principais contribuintes, validando a supressão adaptativa do modelo de modalidades não informativas.

Significado e Alegações
O artigo alega que o AAMLA aborda uma lacuna crítica na análise de aprendizagem multimodal ao fornecer um mecanismo para lidar com a variabilidade inerente e a não confiabilidade de dados comportamentais em ambientes educacionais. Os autores afirmam que sua estratégia de alinhamento baseada em afinidade explícita oferece uma alternativa robusta à fusão implícita, particularmente ao lidar com "degradação de modalidades" onde certos sinais são inconsistentes entre coortes de alunos. O trabalho demonstra que tais técnicas de alinhamento explícito podem transferir-se efetivamente para domínios educacionais, oferecendo insights interpretáveis sobre os padrões comportamentais que preveem a satisfação com a colaboração sem exigir a remoção completa de fluxos de dados potencialmente úteis, embora ruidosos.