Enhancing Science Classroom Discourse Analysis through Joint Multi-Task Learning for Reasoning-Component Classification

Resumo Técnico: Análise de Discurso em Sala de Aula de Ciências Através de Aprendizado Multi-Tarefa Conjunto

Título Original: Enhancing Science Classroom Discourse Analysis through Joint Multi-Task Learning for Reasoning-Component Classification
Autores: Jiho Noh, Mukhesh Raghava Katragadda, Raymond Carl e Soon Lee (Kennesaw State University).

1. Problema e Contexto

A análise de padrões de raciocínio dos alunos em salas de aula de ciências é fundamental para entender a construção do conhecimento e melhorar a prática instrucional. No entanto, a codificação manual de discursos em larga escala é proibitivamente trabalhosa e lenta.
Os desafios principais identificados são:

• Escassez de Dados Rotulados: A anotação manual requer tempo e expertise, resultando em conjuntos de dados pequenos.
• Desequilíbrio de Classes (Imbalance): Em dados naturais de sala de aula, certas categorias de fala (como "Feedback com Pergunta" ou raciocínio inferencial) são extremamente raras em comparação com categorias dominantes (como "Resposta Declarativa" ou "Outros").
• Complexidade Cognitiva: Frameworks anteriores focam na estrutura (quem fala quando), mas falham em medir sistematicamente a qualidade cognitiva do que é dito (o tipo de raciocínio).
• Viés de Posição: Anotações humanas podem ser influenciadas pelo contexto temporal da lição (ex: tendem a classificar falas finais como mais complexas), o que é difícil de capturar em modelos puramente baseados em utterances isoladas.

2. Metodologia

A. Dados e Pré-processamento

• Corpus: 9 transcrições de aulas de ciências (dois professores do ensino médio e um do ensino fundamental) nos EUA, totalizando 1.782 utterances (falas) manualmente codificadas.
• Revisão do Esquema de Codificação (CDAT): O esquema original de 6 classes para Componentes de Raciocínio (RC) foi consolidado em 4 classes para melhorar a aprendibilidade e reduzir ambiguidades:
  1. ER (Raciocínio Cotidiano): Experiências informais/anedotas.
  2. SR-D (Raciocínio Científico - Descritivo): Conceitos, definições e observações diretas.
  3. SR-I (Raciocínio Científico - Inferencial): Identificação de padrões, generalizações, previsões e construção de modelos.
  4. O (Outros): Procedimentos, gestão de sala, inaudível.
• Divisão dos Dados: Para evitar vazamento de dados (data leakage) devido à natureza contextual (janelas de contexto), foi utilizada uma divisão baseada em sessões inteiras (6 sessões para treino, 2 para validação, 1 para teste), selecionada via busca exaustiva para minimizar a divergência de distribuição entre os splits.

B. Aumento de Dados com LLM (LLM-Based Data Augmentation)
Para mitigar o desequilíbrio de classes, os autores utilizaram o GPT-4.1 para gerar dados sintéticos:

• Estratégia: O modelo gera variações sintéticas das utterances de treino, preservando os rótulos (UT e RC), o papel do falante e a coerência conversacional.
• Passos:
  1. Boost de Minorias: Geração extra de exemplos para classes com contagem abaixo de um limiar relativo à classe majoritária.
  2. Passo Principal: Geração de variações para todas as utterances de treino para aumentar a diversidade de superfície.
• Inovação no Prompt: Em vez de variar apenas a utterance-alvo mantendo o contexto fixo (o que criava uma "dica" para o modelo), o prompt foi redesenhado para regenerar todo o snippet de discurso (contexto + alvo) como uma unidade coerente. Isso força o modelo a aprender generalização real.

C. Arquitetura do Modelo: Dual-Probe Head (DPH)

• Base: RoBERTa-base.
• Mecanismo: Um encoder compartilhado processa uma janela de contexto (k utterances anteriores e posteriores).
• Probes (Sondas):
  • Para a tarefa de Tipo de Utterance (UT): Usa o estado oculto do token <s> (BOS) da utterance-alvo.
  • Para a tarefa de Componente de Raciocínio (RC): Usa o estado oculto do token </s> (EOS) da utterance-alvo.
• Condicionamento Cruzado: As cabeças de classificação (heads) recebem características concatenadas de ambas as tarefas ([u; r] e [r; u]), permitindo que o modelo explore a correlação entre a função da fala e a qualidade do raciocínio simultaneamente.
• Função de Perda: Focal Loss com pesos inversos à frequência para lidar com classes desbalanceadas.

D. Baselines e Avaliação

• Métricas: Macro-F1 (principal, para evitar viés da classe majoritária), Precisão, Recall, Acurácia.
• Sistemas Comparados:
  1. TF-IDF + Regressão Logística.
  2. Zero-shot GPT-5.4 (sem fine-tuning).
  3. RoBERTa-base sem aumento de dados.
  4. RoBERTa-base com aumento de dados (proposto).

3. Resultados Principais

A. Desempenho de Classificação

• Tipo de Utterance (UT - 10 classes):
  • O modelo RoBERTa + Aumento de Dados alcançou o melhor desempenho (Macro-F1 = 0,635), superando o baseline TF-IDF em 18,2 pontos percentuais.
  • O GPT-5.4 (zero-shot) teve desempenho moderado, sugerindo que a classificação funcional de 10 classes requer contexto discursivo que o prompting puro não captura totalmente.
  • Conclusão: A classificação funcional depende fortemente de representações contextuais (transformers).
• Componente de Raciocínio (RC - 4 classes):
  • Surpreendentemente, o TF-IDF + Regressão Logística obteve o melhor resultado (Macro-F1 = 0,574), superando tanto o GPT-5.4 (0,476) quanto o RoBERTa (0,396).
  • Conclusão: A taxonomia de 4 classes de RC é altamente separável lexicalmente (vocabulário científico indica SR-D, linguagem de inferência indica SR-I). O corpus pequeno (~1.400 exemplos) não foi suficiente para que o RoBERTa superasse a simplicidade e robustez das características lexicais.

B. Análise de Padrões de Discurso

• Co-ocorrência UT x RC: O feedback com pergunta (Fq) é o movimento do professor mais consistentemente seguido por raciocínio inferencial dos alunos (SR-I), quase o dobro da taxa de perguntas simples (Q).
• Análise Lag-Sequential: Explicações longas do professor (E) raramente geram raciocínio inferencial nos alunos, sugerindo que monólogos suprimem o engajamento cognitivo.
• Cadeias IRF (Iniciação-Resposta-Feedback): O padrão Fq → Rs → Fq (Feedback-Pergunta → Resposta Declarativa → Feedback-Pergunta) gerou a maior complexidade cognitiva média (CCI = 2,06).
• Trade-off Pedagógico: Movimentos que maximizam a complexidade cognitiva (Fq, Q) tendem a suprimir perguntas iniciadas pelos alunos (Rq), enquanto movimentos como "Prompts" (P) abrem espaço para perguntas dos alunos, mas com menor complexidade cognitiva média.

C. Viés de Anotação Humana vs. Pseudo-rótulos

• Uma discrepância crucial foi encontrada na trajetória temporal do Índice de Complexidade Cognitiva (CCI).
• Dados Humanos: Mostram um "rebound" (recuperação) acentuado de complexidade no final da aula.
• Dados Pseudo-rótulos (Modelo): Mostram um declínio monotônico até o fim.
• Interpretação: O modelo não tem acesso ao contexto da posição na lição. O "rebound" humano é atribuído a um viés de posição, onde anotadores humanos classificam falas finais como "síntese" ou "reflexão" (maior complexidade) apenas porque ocorrem no final, independentemente do conteúdo real.

4. Contribuições Chave

1. Esquema de Codificação Revisado: Consolidação teórica de 6 para 4 classes de raciocínio, mantendo a distinção epistemológica (descritivo vs. inferencial) mas melhorando a viabilidade estatística.
2. Arquitetura Dual-Probe: Um modelo RoBERTa com cabeças cruzadas que classifica simultaneamente UT e RC, demonstrando que o condicionamento simétrico melhora a representação.
3. Estratégia de Aumento de Dados: Validação de que a geração de snippets de discurso completos (e não apenas frases isoladas) via LLM é superior para melhorar a robustez do modelo.
4. Insights Pedagógicos Quantitativos: Evidência empírica de que o "Feedback com Pergunta" (Fq) é o motor mais eficaz para o raciocínio inferencial dos alunos, e a descoberta de viés de posição em anotações humanas.

5. Significância e Conclusão

O estudo demonstra que a automação da análise de discurso em ciências é viável e eficaz, mas depende da natureza da tarefa:

• Para tipos funcionais de fala, modelos contextuais (Transformers) com dados aumentados são essenciais.
• Para tipos de raciocínio, em conjuntos de dados pequenos, características lexicais simples podem superar modelos complexos, indicando a necessidade de expandir o corpus para treinar transformers adequadamente.

A descoberta sobre o viés de posição nas anotações humanas é particularmente significativa, alertando pesquisadores para a necessidade de cautela ao interpretar tendências temporais em estudos de discurso e sugerindo que futuros modelos devem incorporar contexto de nível de lição para capturar padrões pedagógicos reais. O trabalho fornece uma ferramenta escalável (ADAS) e insights acionáveis para o design instrucional, destacando a importância de movimentos de feedback que "pressionam" o raciocínio (Fq).