Engagement Intensity as a Learner-Modeling Signal for Adaptive AI Ethics Instruction

Resumo Técnico: A Intensidade de Engajamento como um Sinal de Modelagem de Aprendizagem para Instrução Adaptativa em Ética de IA

Problema
Treinandos de pós-graduação que ingressam na instrução de ética de IA possuem experiências prévias heterogêneas com Grandes Modelos de Linguagem (LLMs) e percepções variadas sobre suas capacidades. Embora os frameworks estabelecidos de alfabetização em IA enfatizem a instrução centrada no aluno, há uma falta de evidências empíricas sobre quais características de pré-instrução (entrada) melhor diferenciam os alunos para informar a personalização instrucional. Proxies intuitivos, como cursos anteriores ou participação em workshops, não foram rigorosamente testados contra sinais comportamentais para determinar se capturam a variação necessária para um design adaptativo em contextos de pesquisa de pós-graduação.

Metodologia
O estudo analisou dados de questionários de pré-instrução de 93 treinandos de pós-graduação e pós-doutorado em biosciências matriculados em um curso obrigatório de Conduta Responsável na Pesquisa (RCR) na UCLA. A pesquisa avaliou três características de entrada candidatas:

1. Frequência de uso autorrelatada (ordinal, 5 níveis: Nunca a Diariamente).
2. Familiaridade com LLM autopercebida (ordinal, 5 níveis: Nada a Muito).
3. Educação prévia em IA (categórica: Formal, Informal ou Nenhuma).

Essas características foram testadas contra cinco resultados de percepção focais, cada um medido em uma escala Likert de cinco pontos:

• Confiança na precisão (crença na precisão do LLM para informações científicas gerais).
• Capacidade de distinção (capacidade de separar o output factual do incorreto do LLM).
• Confiança em tarefas complexas (confiança em LLMs para conceitos éticos/científicos nuances).
• Risco de pensamento crítico (crença de que a dependência excessiva prejudica o pensamento crítico).
• Interesse em treinamento (interesse em treinamento formal de LLM).

A análise estatística empregou correlações de Spearman para preditores ordinais (frequência de uso e familiaridade) e testes $H$ de Kruskal–Wallis para o preditor categórico (educação prévia). Para abordar múltiplas comparações, a correção de Holm foi aplicada aos cinco resultados dentro de cada família de preditores. Os tamanhos de efeito para contrastes binários foram resumidos usando o $\delta$ de Cliff.

Resultados Principais
A análise revelou hierarquias distintas no poder preditivo das características de entrada:

• Frequência de Uso: Esta característica demonstrou as associações mais fortes e consistentes, sobrevivendo à correção de Holm em todos os cinco resultados. Apresentou os maiores tamanhos de efeito para confiança em tarefas complexas ($\rho = .409$), confiança na precisão ($\rho = .370$) e risco de pensamento crítico ($\rho = -.346$).
• Familiaridade Autopercebida: Serviu como um sinal secundário significativo, porém mais fraco, sobrevivendo à correção de Holm para três resultados: capacidade de distinção, confiança em tarefas complexas e risco de pensamento crítico. O padrão de associação foi "ancorado na base", mostrando uma separação clara na extremidade inferior da escala (não familiar vs. pouco familiar), mas frequentemente apresentando medianas idênticas para níveis de familiaridade mais altos.
• Educação Prévia em IA: Nem a codificação de três grupos (Formal/Informal/Nenhuma) nem a codificação colapsada de dois grupos (Qualquer anterior vs. Nenhuma) produziram associações estatisticamente significativas com nenhum dos cinco resultados após a correção de Holm. Os maiores tamanhos de efeito foram negligenciáveis (Cliff's $|\delta| < .19$).

Um achado notável foi a associação negativa entre uso/familiaridade e o risco de pensamento crítico; usuários intensos e aqueles que se sentiam mais familiares relataram menos preocupação com a dependência excessiva prejudicar o pensamento crítico.

Contribuições Principais

1. Validação Comparativa de Características de Entrada: O estudo demonstra empiricamente que sinais comportamentais simples (frequência de uso relatada) e sinais de autopercepção (familiaridade) são mais informativos para a segmentação de pré-instrução do que rótulos de histórico educacional (cursos anteriores/workshops) em uma coorte de pós-graduação em biosciências.
2. Identificação de Efeitos de Limiar: Os dados sugerem um padrão de tipo limiar em vez de um gradiente uniforme, particularmente para interesse em treinamento e confiança na precisão, onde a distinção entre não usuários e qualquer usuário sustentado é mais pronunciada do que as diferenças entre níveis variáveis de uso frequente.
3. Preocupações de Calibração: Os resultados destacam um potencial problema de calibração onde aprendizes altamente engajados (alto uso/familiaridade) exibem menor sensibilidade aos riscos de dependência excessiva, sugerindo a necessidade de intervenções instrucionais direcionadas para este subgrupo.

Significância e Alegações
O artigo alega que o perfil de entrada leve para a educação ética de IA adaptativa pode ser alcançado efetivamente por meio de questionários curtos de pré-instrução que priorizam o uso relatado de LLM e a familiaridade autopercebida sobre o histórico educacional tradicional. Os autores argumentam que esses sinais comportamentais e de autopercepção fornecem uma base mais confiável para distinguir alunos que podem precisar de uma orientação básica daqueles que podem se beneficiar de um trabalho de calibração focado em confiança, dependência excessiva e modos de falha.

O estudo posiciona explicitamente seus achados como associativos e transversais, observando que a natureza de autorrelato de item único das medidas impede alegações de causalidade ou confiabilidade multi-item. Os autores concluem que, embora esses sinais sejam úteis para o agrupamento de nível de entrada, estudos de intervenção futuros são necessários para determinar se essa instrução diferenciada realmente melhora os resultados de aprendizagem.