Generative AI Adoption in Statistics and Data Science Higher Education

Resumo Técnico: Adoção de IA Generativa no Ensino Superior de Estatística e Ciência de Dados

Definição do Problema
Embora a Inteligência Artificial Generativa (GenAI) esteja sendo cada vez mais integrada ao ensino de STEM quantitativo para tarefas que variam desde a explicação conceitual até a programação e interpretação de modelos, as condições específicas que impulsionam sua adoção em cursos avançados de estatística e ciência de dados permanecem subexaminadas. Diferente de contextos acadêmicos gerais, essas disciplinas exigem um acoplamento estreito de raciocínio conceitual, programação, diagnóstico de modelos e avaliação de evidências. Existe uma lacuna crítica na compreensão de se os fatores que impulsionam a adoção (intenção e uso) também garantem o uso disciplinar responsável (verificação, julgamento estatístico e divulgação transparente). A literatura atual frequentemente se limita a percepções gerais ou preocupações com integridade, carecendo de evidências disciplinares específicas sobre como os alunos integram a IA em fluxos de trabalho analíticos complexos, onde a facilidade procedimental pode mascarar suposições ou interpretações incorretas.

Metodologia
O estudo empregou uma abordagem de métodos mistos fundamentada em um framework UTAUT2 (Teoria Unificada de Aceitação e Uso de Tecnologia 2) adaptado, analisado por meio de Modelagem de Equações Estruturais de Mínimos Quadrados Parciais (PLS-SEM).

• Amostra: Os dados foram coletados de 72 alunos de graduação do último ano (aproximadamente 70% da população elegível) matriculados em dois cursos quantitativos avançados (Análise de Séries Temporais e Análise de Dados Categóricos) em uma universidade privada no Egito. Os participantes possuíam sólida base em estatística, matemática e programação (R/Python).
• Instrumento: Foi utilizado um questionário adaptado de medidas validadas do UTAUT2, apresentando uma escala Likert de 5 pontos para itens de questões fechadas e quatro prompts de questões abertas. O modelo conceitual incluiu inicialmente a Expectativa de Desempenho (dividida em dimensões orientadas à aprendizagem e técnica/orientada à tarefa), Expectativa de Esforço (EE), Condições Facilitadoras (FC), Motivação Hedônica (HM) e Autoeficácia (SE) como preditores da Intenção Comportamental (BI), que, por sua vez, previu o Comportamento de Uso (UB).
• Análise: A análise utilizou o pacote seminr no R. Os procedimentos incluíram:
  • Avaliação do Modelo de Mensuração: Avaliação da confiabilidade dos indicadores (cargas externas), consistência interna (alfa de Cronbach, $\rho_A$, confiabilidade composta), validade convergente (AVE) e validade discriminante (critério de Fornell-Larcker, razões HTMT com intervalos de confiança via bootstrap).
  • Estimação do Modelo Estrutural: Os coeficientes de caminho ($\beta$) foram estimados usando 3.000 reamostragens de bootstrap com intervalos de confiança de percentil de 95%. Tamanhos de efeito ($f^2$) e valores de $R^2$ foram calculados.
  • Avaliação Preditiva: A relevância preditiva fora da amostra foi testada usando PLSpredict (comparando RMSE/MAE contra um modelo de referência linear) e $Q^2_{predict}$.
  • Testes de Robustez: Análises de sensibilidade foram conduzidas removendo indicadores específicos (ex: FC2, UB3, BI3) para avaliar os compromissos entre a Variância Média Extraída (AVE) e a sobreposição HTMT.
  • Componente Qualitativo: As respostas abertas foram analisadas descritivamente para contextualizar os achados quantitativos referentes a benefícios, riscos e expectativas de políticas.

Principais Resultados
O estudo passou por um refinamento significativo do modelo baseado na validade discriminante e distinção teórica:

1. Refinamento do Modelo:

   • A Motivação Hedônica (HM) foi descartada, pois não apresentou contribuição significativa para a Intenção Comportamental (BI).
   • A Expectativa de Desempenho (PE) foi excluída do modelo final. Embora um caminho de PE orientado à aprendizagem tenha mostrado significância nominal no modelo expandido, os diagnósticos de validade discriminante revelaram uma sobreposição substancial com a Expectativa de Esforço, BI e Comportamento de Uso. O autor concluiu que a contribuição incremental da PE não pôde ser limpa e separadamente distinguida da facilidade de uso e da intenção nesta amostra.
   • Modelo Final: O modelo retido postulou EE, FC e SE como antecedentes da BI, com a BI predizendo o UB.

2. Estimativas de Caminho Estrutural:

   • A Expectativa de Esforço (EE) foi o preditor mais forte da Intenção Comportal ($\beta = 0,562, p < ,001$), com um grande tamanho de efeito ($f^2 = 0,905$).
   • As Condições Facilitadoras (FC) foram o segundo preditor mais forte ($\beta = 0,329, p = ,003$), com um tamanho de efeito médio ($f^2 = 0,330$).
   • A Autoeficácia (SE) teve um efeito positivo menor, mas significativo ($\beta = 0,195, p = ,006$), com um tamanho de efeito pequeno ($f^2 = 0,112$).
   • A Intenção Comportamental (BI) previu fortemente o Comportamento de Uso (UB) ($\beta = 0,709, p < ,001$), com um grande tamanho de efeito ($f^2 = 1,012$).

3. Poder Explicativo e Preditivo:

   • O modelo explicou 73,2% da variância da Intenção Comportamental ($R^2$) e 50,3% da variância do Comportamento de Uso.
   • Relevância Preditiva: A evidência preditiva fora da amostra foi fraca. Os valores de $Q^2_{predict}$ foram baixos (0,086 para BI, 0,033 para UB) e as melhorias de RMSE em relação ao benchmark linear foram modestas. Consequentemente, o autor interpreta o modelo primariamente como explicativo para esta amostra específica, em vez de uma ferramenta de previsão robusta para outras populações.

4. Preocupações com a Validade de Mensuração:

   • Problemas de validade discriminante foram observados. Os intervalos de confiança de HTMT via bootstrap para EE-BI [0,793, 1,053] e BI-UB [0,812, 1,170] incluíram 1, indicando que esses construtos não podem ser tratados como empiricamente distintos nesta amostra. O autor manteve os caminhos, mas os interpretou com cautela, observando a adjacência teórica desses construtos.
   • As Condições Facilitadoras (FC) tiveram uma AVE de 0,479 (abaixo da diretriz de 0,50), e o alfa de Cronbach para FC e UB ficaram abaixo de 0,70, embora as confiabilidades compostas tenham sido aceitáveis.

5. Insights Qualitativos:

   • Os alunos valorizaram a IA pela imediação, suporte à codificação e simplificação de conceitos.
   • Preocupações significativas incluíram saídas imprecisas, dependência excessiva reduzindo o pensamento crítico e ambiguidade quanto às políticas de divulgação.
   • Os alunos distinguiram entre usar a IA para tarefas (com verificação) versus exames de livro fechado, enfatizando a necessidade de rotinas de verificação claras.

Significância e Alegações
O artigo apresenta três contribuições principais, formuladas de forma modesta como evidências disciplinares específicas, em vez de leis universais:

1. Evidência de Adoção Específica da Disciplina: Fornece dados empíricos sobre a adoção de GenAI especificamente em cursos avançados de STEM quantitativo (estatística/ciência de dados), onde a IA se cruza com codificação, diagnósticos e interpretação, indo além das percepções acadêmicas gerais.
2. Avaliação Metodológica Rigorosa: O estudo avalia as relações de adoção usando tamanhos de efeito, avaliação preditiva e análises de sensibilidade, em vez de depender apenas da significância do caminho. Aborda explicitamente as limitações do tamanho da amostra ($n=72$) e a sobreposição de mensuração, priorizando a interpretabilidade teórica sobre a significância estatística isolada.
3. Distinção entre Adoção e Uso Responsável: A principal alegação teórica é que a adoção (a entrada da IA em um fluxo de trabalho impulsionada pela facilidade, suporte e confiança) é distinta do uso disciplinar responsável (a verificação de saídas, o exercício do julgamento estatístico e a divulgação transparente). O estudo demonstra que, embora a facilidade de uso e o suporte impulsionem a adesão, eles não garantem que os alunos verificarão os resultados da IA ou manterão o raciocínio disciplinar.

Limitações
O autor reconhece explicitamente várias restrições:

• Generalização: O estudo é um caso focado de uma única instituição no Egito; os resultados não devem ser generalizados para todos os estudantes de STEM sem replicação.
• Tamanho da Amostra: Embora cubra 70% da população elegível, $n=72$ é modesto para modelagem estrutural, limitando a detecção de pequenos efeitos e heterogeneidade de subgrupos.
• Desenho Transversal: Os dados foram autorrelatados em um único ponto no tempo; o caminho de BI para UB representa associação, não causalidade ou precedência temporal.
• Problemas de Mensuração: A inclusão de intervalos HTMT contendo 1 e a baixa AVE para FC sugerem que os construtos não são perfeitamente distintos neste contexto.
• Fraqueza Preditiva: O fraco poder preditivo fora da amostra reforça o papel do modelo como um framework explicativo para este contexto específico, em vez de um modelo preditivo para outras populações.

Em conclusão, o artigo argumenta que, para o ensino de estatística avançada e ciência de dados, o desafio instrucional não é meramente facilitar a adoção da IA, mas fomentar as práticas específicas de verificação, julgamento e divulgação que constituem o uso disciplinar responsável.