Surfacing Isolated Learners with Outcome-Independent Mediation of Feedback between Teachers and Students Using AI

Resumo Técnico: Evidenciando Aprendizes Isolados com Mediação Independente de Resultados para Feedback

Declaração do Problema

Em salas de aula aumentadas por IA, professores e alunos geram sinais ricos de feedback (por exemplo, registros de interação, pesquisas, entrevistas) antes da disponibilidade de resultados avaliados. No entanto, esses sinais são frequentemente difíceis de sintetizar em decisões instrucionais oportunas. Abordagens tradicionais que dependem de análises post-hoc ou de resultados avaliados chegam tarde demais para apoiar intervenções de aprendizagem proativas. O problema central abordado é como coordenar o feedback de professores e aprendizes para identificar prioridades instrucionais e necessidades de suporte quando dados de resultados (notas) estão indisponíveis.

Metodologia

Os autores propõem uma camada de decisão interpretável (ou camada de mediação) que atua como um mecanismo transparente para classificar tópicos do curso que exigem atenção. Este sistema não utiliza notas ou rótulos de resultados post-hoc. Em vez disso, integra três fontes distintas de sinais em uma pontuação de prioridade ($P_t$) para cada tópico $t$:

1. Prevalência de Lacunas ($R_t$): A fração de alunos identificados como tendo dificuldade com um tópico específico, derivada de rastros de interação do assistente de ensino de IA (Jill Watson).
2. Discrepância da Pesquisa ($D_t$): A diferença absoluta entre as dificuldades de aprendizagem observadas ($R_t$) e a dificuldade auto-relatada pelos alunos ($s_t$) em pesquisas de meio de curso ($D_t = |R_t - s_t|$).
3. Fricção do Professor ($F$): Uma medida resumo de preocupações não resolvidas do instrutor, derivada de temas codificados em entrevistas semiestruturadas (especificamente fricção de usabilidade e incerteza de confiança).

O Processo de Mediação:
O sistema computa uma pontuação de prioridade de tópico usando uma combinação linear ponderada:
$$P_t = w_r R_t + w_d D_t + w_f F$$
Onde os pesos ($w_r, w_d, w_f$) são definidos pelos pesquisadores com base em prioridades de cocriação (padrão: 0,70, 0,20, 0,10). A saída é uma lista classificada de tópicos acompanhada de um registro de decisão (ou trilha de decisão) que explica as entradas e a lógica por trás de cada classificação.

Contexto do Estudo:
A abordagem foi avaliada em um curso de pós-graduação em IA no Instituto de Tecnologia da Geórgia ($N=279$ alunos). As fontes de dados incluíram:

• Professor: 5 entrevistas semiestruturadas após a implantação de um painel de análise.
• Aluno: Respostas de pesquisas de meio de curso e registros de interação da Jill Watson.
• Validação: Pensamento reflexivo (RTQ), comportamento de busca de ajuda e medidas de autoeficácia foram usados como evidências complementares para construtos relacionados à aprendizagem, mas não foram entradas na pontuação de prioridade.

Principais Contribuições

1. Coordenação Independente de Resultados: O artigo introduz um mecanismo para priorizar o suporte instrucional sem depender de notas, abordando o problema de latência nos ciclos de feedback educacional.
2. Camada de Decisão Interpretável: Diferentemente de análises de "caixa preta", o sistema fornece registros de decisão por tópico, tornando a lógica de classificação transparente e inspecionável por professores, alunos e pesquisadores.
3. Evidenciando "Aprendizes Isolados": O framework define e identifica "aprendizes isolados" — alunos que não acionam alertas em nenhuma fonte de sinal individual (por exemplo, relatam alta compreensão e não possuem registros de busca de ajuda), mas são evidenciados quando múltiplos sinais são sintetizados.
4. Co-agência Humana-IA: O trabalho organiza os papéis de professor, aluno e pesquisador em torno de um processo de decisão compartilhado, indo além da simples reflexão em painéis para uma coordenação ativa de perspectivas.

Resultados

O estudo forneceu evidências preliminares que apoiam três hipóteses:

• Estabilidade das Prioridades (H1): As prioridades de tópicos classificadas permaneceram estáveis em variações razoáveis nos esquemas de ponderação. Na oferta específica do curso, os 5 tópicos prioritários foram raciocínio analógico, frames, planejamento, raciocínio baseado em casos e IA baseada em conhecimento.
• Alinhamento com Partes Interessadas:
  • Acordo do Instrutor: As prioridades mediadas mostraram alto acordo de classificação com as preocupações do instrutor ($\rho$ de Spearman = 0,80, $p < .001$). Três dos 5 tópicos mediadores de topo sobrepostos com preocupações identificadas pelo instrutor.
  • Alinhamento do Aluno: As pontuações de prioridade estiveram moderadamente associadas à dificuldade auto-relatada pelos alunos ($\rho = 0,46$, $p = .048$), superando a prevalência de lacunas isolada ($\rho = 0,29$).
• Integração de Múltiplos Sinais (H3): A combinação de sinais revelou aprendizes perdidos por abordagens de fonte única.
  • Para "aprendizes isolados" (aqueles não sinalizados por sinais individuais), a exposição a tópicos de alta prioridade durante as semanas em que relataram dificuldade resultou em uma Área Sob a Curva (AUC) significativamente maior (AUC = 0,96) em comparação com o uso da prevalência de lacunas isolada (AUC = 0,91).
  • Na coorte, 3 alunos (2,2% dos alunos não identificados pela linha de base) foram evidenciados apenas através da síntese de múltiplos sinais.
• Construtos Comportamentais: Sinais comportamentais dos alunos (autoeficácia, pensamento reflexivo, busca de ajuda) alinharam-se com a compreensão do tópico, validando que esses sinais capturam comportamentos de aprendizagem significativos.

Significado e Alegações

O artigo posiciona este trabalho como um passo preliminar em direção à co-agência Humana-IA em ambientes educacionais. Os autores afirmam que:

• Mecanismos de coordenação transparentes podem apoiar a tomada de decisão quando o feedback está incompleto ou dados de resultados estão ausentes.
• A camada de mediação não substitui o julgamento do instrutor, mas serve como um mecanismo para organizar e tornar visível a convergência das perspectivas de professor, aluno e pesquisador.
• Ao evidenciar "aprendizes isolados" e fornecer registros de decisão, o sistema permite intervenção proativa antes que resultados avaliados estejam disponíveis.

Os autores observam explicitamente limitações, incluindo o escopo do estudo (uma oferta de curso), o pequeno número de entrevistas com instrutores e a natureza transversal dos dados da pesquisa. Consequentemente, as descobertas são apresentadas como evidências descritivas e exploratórias, em vez de estimativas em nível populacional. Os autores fornecem uma implementação de referência leve para facilitar a replicação e futuras explorações de sinais de sala de aula mais ricos e fluxos de trabalho de supervisão humana.