Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University

Resumo Técnico: Quatro Tipos de Dependência de LLM e Seus Preditores entre Escritores de Graduação

Problema
Apesar da adoção quase universal de Modelos de Linguagem de Grande Escala (LLMs) na escrita acadêmica de graduação (apximadamente 92% dos estudantes), a área carece de estruturas validadas para distinguir formas qualitativamente diferentes de dependência de IA. A pesquisa existente operacionaliza a dependência como um construto de frequência único e contínuo (ex: usuários frequentes vs. infrequentes), o que obscurece distinções críticas no engajamento cognitivo. Essa limitação estrutural gera medidas de resultado que sistematicamente recompensam a dependência cognitiva em vez da autoria intelectual. Especificamente, os instrumentos atuais medem o "throughput de IA" (quanto a IA contribuiu para uma tarefa) em vez da qualidade da escrita ou do crescimento cognitivo, levando a um artefato de medição onde estudantes que exercem a maior agência cognitiva (restrição estratégica) aparecem como os desempenhos mais fracos. Além disso, a literatura não examinou adequadamente essas dinâmicas dentro de Instituições que Atendem Minorias (MSIs), onde a heterogeneidade de preparação e o status de primeira geração podem agravar as disparidades de letramento em IA.

Metodologia
Este estudo empregou um design de métodos mistos explicativo sequencial em uma Instituição Pública R1 que atende minorias (MSI) e uma Instituição que atende nativos americanos e de origem asiática e de ilhas do Pacífico (AANAPISI).

• Participantes: A fase quantitativa incluiu $N=382$ estudantes de graduação. A fase qualitativa envolveu 14 entrevistas amostradas por conveniência, 35 respostas abertas de questionário (SUR35) e 361 respostas breves abertas (SUR361), totalizando 1.435 instâncias codificadas.
• Estrutura Teórica: O estudo integrou três estruturas:
  1. Estrutura de Letramento em IA: Para prever o tipo (direção qualitativa) de dependência.
  2. Teoria da Expectativa-Valor (EVT): Para prever a intensidade (magnitude quantitativa) da dependência.
  3. Modelo 3P de Biggs (Pressuposto-Processo-Produto): Para fornecer a arquitetura estrutural ligando características do estudante, comportamentos de dependência e resultados.
• Instrumentação: Uma nova Escala de Dependência de LLM de 20 itens foi desenvolvida e validada, medindo quatro tipos distintos: Estratégica, Instrumental, Dialógica e Dependente. As medidas preditoras incluíram Letramento em IA (Núcleo e Exposição) e crenças de Expectativa-Valor.
• Análise: A análise quantitativa envolveu análise fatorial exploratória (EFA), testes de confiabilidade, ANOVA de uma via, regressão múltipla hierárquica e regressão logística multinomial. A análise qualitativa utilizou análise temática reflexiva para validar a tipologia e explicar padrões quantitativos.

Principais Contribuições

1. Tipologia Empiricamente Validada: O estudo identifica e valida quatro tipos distintos de dependência de LLM:
   • Estratégica (34,3%): Engajamento deliberado e direcionado a objetivos com verificação ativa e controle autoral total.
   • Instrumental (30,9%): Uso delimitado para tarefas mecânicas (esboços, edição) sem delegar o conteúdo ideacional.
   • Dialógica (30,4%): Co-construção iterativa onde a IA atua como um parceiro de pensamento enquanto a agência autoral é preservada.
   • Dependente (4,5%): Abdicação cognitiva envolvendo a terceirização total das tarefas de escrita com supervisão mínima.
2. Arquitetura Preditiva de Dois Níveis: O estudo estabelece que dois sistemas separados e não intercambiáveis governam a dependência:
   • O Letramento em IA prevê qual tipo de dependência um estudante adota (ex: maior letramento prevê o uso Estratégico sobre o Dependente).
   • As Crenças de Expectativa-Valor preveem o quão intensamente um estudante depende de LLMs, independentemente do tipo.
3. Identificação de Artefato de Medição: O estudo expõe uma crise fundamental de validade nas pesquisas atuais de resultados de LLM. Instrumentos estruturados em torno de "Eu uso IA para alcançar X" capturam a contribuição da IA em vez da qualidade da escrita independente. Consequentemente, usuários Estratégicos — que limitam deliberadamente o papel da IA — pontuam mais baixo nessas medidas, criando uma falsa impressão de baixo desempenho.
4. Arquitetura de Dois Modelos: Os achados qualitativos revelaram uma população (13% dos respondentes) de "não usuários por princípio" que se abstêm com base em valores éticos ou ambientais. Esses estudantes são distintos dos usuários Estratégicos de baixa intensidade e estão fora do escopo explicativo das estruturas de dependência existentes, necessitando de um modelo de abstinência separado.

Resultos

• Distribuição: Estratégica (34,3%), Instrumental (30,9%), Dialógica (30,4%) e Dependente (4,5%) foram os tipos dominantes.
• Disparidades de Resultado: Os resultados quantitativos mostraram que usuários Estratégicos pontuaram significativamente abaixo dos usuários Dependentes em todas as dez variáveis de processo e resultado de escrita (ex: Qualidade, Originalidade, Pensamento Crítico), com grandes tamanhos de efeito ($\eta^2$ variando de .166 a .329).
• Modelagem Preditiva:
  • Intensidade: As crenças de Expectativa-Valor foram o preditor mais forte da intensidade de dependência ($\beta = .630$, $\Delta R^2 = .256$), explicando mais variância do que demografia ou letramento em IA combinados.
  • Tipo: O Letramento em IA foi o preditor mais forte do tipo de dependência. Cada aumento de uma unidade no letramento em IA reduziu as chances de classificação Dependente vs. Estratégica em aproximadamente dez vezes ($OR = 0,11, p < ,001$).
  • Demografia: O status de primeira geração foi um preditor significativo de maior intensidade de dependência ($\beta = .153$), sugerindo uma dinâmica de compensação onde a IA suplementa recursos acadêmicos.
• Validação Qualitativa: A análise temática confirmou a tipologia e revelou trajetórias de desenvolvimento (movimento de Dependente para Estratégico ao longo do tempo) e a existência de não-uso baseado em princípios impulsionado por restrições éticas, em vez de baixo letramento.

Significância e Alegações
O artigo afirma que a compreensão atual do campo sobre os resultados de LLM é estruturalmente falha. O achado de que usuários Estratégicos pontuam mais baixo não é evidência de baixo desempenho, mas um artefato de medição que penaliza a agência cognitiva. O estudo argumenta que:

• As intervenções devem ser distintas: Programas de letramento em IA devem focar no tipo de engajamento (mudando de incauto para crítico), enquanto intervenções motivacionais devem abordar a intensidade do engajamento. Tratá-los como intercambiáveis é ineficaz.
• Implicações de equidade são centrais: Em MSIs, as disparidades de letramento em IA agravam as desigualdades estruturais existentes. Estudantes de primeira geração podem depender mais fortemente da IA para compensar lacunas de recursos, e as medidas de resultado atuais podem representar erroneamente sua restrição sofisticada como falha.
• Instrumentação futura: O campo requer novos instrumentos que distingam entre o alcance mediado por IA e a competência de escrita independente para evitar a representação errônea sistemática dos estudantes mais cognitivamente sofisticados.

O estudo conclui que, sem abordar essas lacunas teóricas e de medição, a base de evidências sobre LLMs na educação permanecerá distorcida, recompensando a dependência e obscurecendo os benefícios do uso estratégico e principiado da IA.