Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)

Resumo Técnico: Desenvolvimento e Validação do GenAI-RTS

Problema de Pesquisa
À medida que a adoção da IA generativa (GenAI) no ensino superior se aproxima da universalidade, a questão binária sobre se os estudantes utilizam essas ferramentas perdeu o valor diagnóstico. A questão empírica crítica deslocou-se para como os estudantes dependem da GenAI durante a escrita acadêmica estendida. Os instrumentos de medição existentes sofrem de três limitações primárias: (1) foram desenvolvidos para tarefas de tomada de decisão discretas, em vez de processos de escrita iterativos; (2) baseiam-se na extração indutiva de fatores em vez de tipologias orientadas por teoria; e (3) carecem de evidências de invariância de medição escalar entre diversos grupos demográficos, impedindo comparações válidas relacionadas à equidade. Além disso, as práticas atuais de validação frequentemente falham em fornecer um argumento de validade coerente e de múltiplas fontes, conforme exigido pelos Padrões para Testes Educacionais e Psicológicos (AERA et al., 2014).

Metodologia
Este estudo desenvolveu e validou a Escala de Tipos de Dependência de IA Generativa (GenAI-RTS), um instrumento de autorrelato de 20 itens. A pesquisa seguiu um desenho de métodos mistos explicativo sequencial em uma Instituição de Serviço às Minorias (MSI) pública R1 nos EUA.

• Estrutura Teórica: O instrumento foi derivado dedutivamente de três literaturas: metacognição (Schraw & Dennison, 1994), alfabetização crítica em IA (Long & Magerko, 2020) e a teoria das abordagens de aprendizagem (Biggs, 1987). Isso resultou em uma tipologia de quatro tipos: Estratégica (compreendendo as facetas de Uso Deliberado e Avaliação Crítica), Instrumental, Dependente e Dialógica.
• Participantes: A amostra de validação consistiu em $N=382$ graduandos (idade média de 20,8), representando uma população racialmente diversa sem maioria racial (34,3% Brancos, 27,2% Negros/Afro-americanos, 24,9% Asiáticos, 7,6% Hispânicos/Latinos). Uma subamostra intencional de 14 estudantes foi entrevistada utilizando amostragem de variação máxima entre os escores de dependência.
• Estrutura de Validação: O estudo aderiu ao framework de argumentação de validade (Kane, 2013), reunindo evidências de quatro das cinco fontes dos Padrões: conteúdo do teste, processos de resposta, estrutura interna e relações com outras variáveis.
• Estratégia Analítica:
  • Análise Estrutural: Seis modelos concorrentes de análise fatorial confirmatória (CFA) foram testados usando tanto o estimador de Máxima Verossimilhança (ML) quanto o de Mínimos Quadrados Ponderados Diagonalmente (DWLS).
  • Invariância: A CFA multigrupo testou a invariância configural, métrica e escalar entre gênero, status de primeira geração e cursos de STEM/não-STEM.
  • Análise de Rasch: Modelos de escala de classificação avaliaram o funcionamento do formato de resposta Likert de 7 pontos.
  • Análise Qualitativa: A análise de conteúdo dirigida das entrevistas examinou o alinhamento entre os autorrelatos dos estudantes e os comportamentos implícitos na escala.

Principais Resultados

1. Estrutura Interna: O modelo hipotetizado de quatro fatores (tratando a Dependência Estratégica como um fator único) apresentou ajuste pobre. Um modelo de cinco fatores (separando a Dependência Estratégica em Uso Deliberado e Avaliação Crítica) proporcionou o melhor ajuste ($CFI_{DWLS} = .976$, $RMSEA_{DWLS} = .066$). Esta estrutura superou modelos rivais de ordem um, dois, três, quatro e de ordem superior.
2. Confiabilidade e Validade Discriminante: A confiabilidade das subescalas foi de aceitável a boa ($\omega = .75–.88$). As facetas Avaliação Crítica e Dependente foram empiricamente distintas (latente $r = -.07$), apoiando a oposição teórica entre vigilância e terceirização. Embora a dependência Instrumental e a Dialógica estivessem altamente correlacionadas ($r = .77$), testes estruturais confirmaram que são fatores distintos; fundi-los degradou significativamente o ajuste do modelo ($\Delta CFI = -.135$).
3. Invariância de Medição: O estudo estabeleceu invariância escalar de medição entre gênero, status de primeira geração e disciplina acadêmica. Isso permite comparações significativas de médias latentes entre esses grupos demográficos, um primeiro para instrumentos de dependência de GenAI.
4. Processos de Resposta: As entrevistas confirmaram que as descrições dos participantes sobre o uso de IA alinhavam-se com os comportamentos implícitos em todas as cinco facetas entre pontuadores baixos, médios e altos. No entanto, a análise revelou que os padrões de dependência são perfis fluidos em vez de tipos fixos, e que a dependência "Dependente" era frequentemente descrita retrospectivamente, em vez de como um comportamento atual.
5. Análise de Rasch: O formato de resposta de 7 pontos exibiu desordem de limiar, especificamente no nível "Discordo Levemente" (Categoria 3), que foi subutilizado e funcionalmente indistinguível das categorias adjacentes. A análise recomenda colapsar o formato para uma escala de 5 pontos.
6. Relações com Outras Variáveis:
   • Convergente: A dependência Estratégica correlacionou-se positivamente com a alfabetização em IA ($r = .61$).
   • Discriminante: As dependências Estratégica e Dependente mostraram a associação mais fraca ($r = .19$).
   • Critério: Os tipos de dependência diferenciaram significativamente os estudantes em dez variáveis de processo e resultado de escrita (ex: qualidade percebida, pensamento crítico), com grandes tamanhos de efeito ($\eta^2 = .166–.329$).

Principais Contribuições

• Primeira Tipologia Orientada por Teoria: A GenAI-RTS é o primeiro instrumento a operacionalizar a dependência de GenAI na escrita acadêmica baseada em uma tipologia dedutiva derivada de teoria, indo além de pools de itens indutivos.
• Validação de Múltiplas Fontes: O estudo fornece um argumento de validade estruturado integrando evidências de conteúdo, processo de resposta, estrutura interna e relação externa, abordando uma lacuna em estudos de validação anteriores.
• Evidência de Invariância Escalar: Relata a primeira evidência de invariância escalar de medição para um instrumento de dependência de GenAI através de gênero, status de primeira geração e disciplina, permitindo pesquisas focadas em equidade válidas.
• Refinamento da Dependência Estratégica: Os dados demonstraram empiricamente que a dependência Estratégica é melhor modelada como duas facetas distintas (Uso Deliberado e Avaliação Crítica), em vez de um único construto, refinando a compreensão teórica do engajamento metacognitivo com a IA.

Significância e Alegações
O artigo alega que a GenAI-RTS oferece a pesquisadores e educadores uma ferramenta psicometricamente validada para identificar perfis distintos de dependência em estudantes de graduação. Ao distinguir entre padrões produtivos (Estratégica, Instrumental, Dialógica) e improdutivos (Dependente), o instrumento apoia o design de intervenções de alfabetização em IA direcionadas. Os autores posicionam explicitamente a escala como uma ferramenta diagnóstica formativa para compreender o engajamento do estudante e apoiar a aprendizagem, em vez de um dispositivo para detectar má conduta acadêmica.

O estudo reconhece modestamente limitações, incluindo a dependência de dados de autorrelato, o desenho transversal (que impede alegações causais sobre mudança de desenvolvimento) e a necessidade de replicação em amostras independentes. Observa também que o instrumento não consegue distinguir entre a contenção estratégica impulsionada por objetivos de aprendizagem e a contenção impulsionada pelo medo de consequências institucionais. Os autores recomendam revisões específicas para a próxima iteração da escala: a reformulação do item fraco de Uso Deliberado e a adoção de um formato de resposta de 5 pontos para resolver problemas de funcionamento de categoria.