Structured AI Demonstrations and Student LLM Use in Engineering Mechanics: Study Design and Preliminary Results

Resumo Técnico: Demonstrações Estruturadas de IA e o Uso de LLM por Estudantes em Mecânica das Estruturas

Definição do Problema
A rápida integração de Modelos de Linguagem de Grande Escala (LLMs) no ensino de graduação em engenharia apresenta um desafio pedagógico crítico. Embora a adoção pelos estudantes seja generalizada, há uma falta significativa de evidências empíricas específicas do domínio para orientar políticas instrucionais. A literatura existente oferece resultados mistos sobre os impactos dos LLMs, variando frequentemente conforme o modo instrucional, mas poucos estudos fornecem dados naturalísticos, dentro do mesmo semestre, sobre como estudantes de engenharia especificamente utilizam, verificam e integram essas ferramentas em cursos fundamentais de resolução de problemas. Além disso, as capacidades dos LLMs evoluíram rapidamente, particularmente no que diz respeito ao raciocínio visual e execução de código, tornando achados anteriores potencialmente obsoletos. Este estudo aborda a lacuna na compreensão de como estudantes de mecânica das estruturas interagem com a IA generativa, como esses comportamentos se correlacionam com o desempenho acadêmico e se intervenções estruturadas lideradas pelo instrutor podem alterar as práticas dos estudantes.

Metodologia
O estudo foi conduzido durante o semestre de Primavera de 2026 na disciplina EK301 (Mecânica das Estruturas I) na Boston University, envolvendo 196 alunos matriculados em três seções de aula. A pesquisa empregou um design descritivo quase-experimental, com os seguintes componentes:

• Participantes e Design: Um total de 105 alunos consentintes formou a amostra analítica. Uma seção serviu como a "Seção de Intervenção" (n=65), recebendo uma sequência de nove demonstrações de IA estruturadas e lideradas pelo instrutor. As seções restantes serviram como grupo de comparação (n=40), não recebendo demonstrações. A atribuição de seção baseou-se no registro padrão, não na randomização.
• Intervenção: As nove demonstrações, entregues semanalmente ao longo de 10 a 15 minutos, progrediram da alfabetização básica na ferramenta para a delegação estratégica e avaliação de modelos. Os tópicos principais incluíram:
  • Capacidades de LLM em projetos de grupo e ambientes de sandbox de Python.
  • Enquadramento pedagógico usando a "Zona de Desenvolvimento Proximal" e tutoria socrática via prompts de sistema personalizados.
  • Delegação estratégica de tarefas de programação de baixo risco (ex: GUIs, rotinas de otimização) para um projeto semestral de design de treliças.
  • Benchmarking de LLMs através de avaliação ad hoc e programática de problemas do curso.
• Coleta de Dados: As fontes de dados incluíram:
  • Pesquisas: Pesquisas de pré e pós-semestre capturando a frequência de uso de IA autorrelatada, atitudes, práticas de verificação e descrições de fluxo de trabalho.
  • Métricas de Desempenho: Notas de exames intermediários em sala de aula (coletadas sob condições estritas offline para evitar o uso de IA), padronizadas e reportadas como quartis de notas (Q1–Q4) para proteger a privacidade dos alunos.
  • Dados Qualitativos: Respostas abertas sobre fluxos de trabalho de IA e estratégias de verificação.
• Análise:
  • Quantitativa: Estatísticas descritivas e visualizações (gráficos de barras empilhadas divergentes, histogramas facetados) foram usadas para analisar mudanças em atitudes e padrões de uso. Não foram realizados testes de significância estatística ou alegações causais devido ao tamanho modesto da amostra e à falta de randomização.
  • Qualitativa: Respostas de texto livre foram codificadas usando um pipeline de múltiplos modelos de LLM (Claude, GPT, Gemini) com adjudicação humana auditável. A confiabilidade entre modelos foi alta (mediana de Fleiss' κ = 0,88 para códigos com prevalência ≥5%).
  • Restrições Éticas: Para cumprir o FERPA, os conjuntos de dados qualitativos e quantitativos foram desacoplados, e os dados de desempenho foram agregados em quartis em vez de pontuações específicas.

Principais Resultados

• Padrões de Uso: O uso de IA generativa foi quase universal para propósitos gerais e expandiu-se significativamente dentro do curso de mecânica das estruturas ao longo do semestre. A proporção de estudantes relatando nunca usar IA para mecânica caiu de 33% (pré) para 6% (pós), enquanto o uso semanal subiu de 37% para 51%.
• Atitudes e Verificação: As atitudes dos estudantes permaneceram amplamente positivas, com a maioria concordando que a IA é um recurso útil e que eles podem avaliar soluções geradas por IA. No entanto, preocupações com a precisão persistiram. Os comportamentos de verificação mostraram uma mudança: embora a verificação independente (resolver problemas novamente) tenha permanecido a estratégia modal, o "rastreamento passivo" dos passos da IA diminuiu. Notavelmente, o aumento no uso não se correlacionou uniformemente com o aumento na checagem; observou-se um aumento na "verificação mínima/condicional".
• Evolução do Fluxo de Trabalho: O fluxo de trabalho dominante mudou de "Tentativa Própria Primeiro; Verificar Depois" para incluir mais interações de "IA Guiada Passo a Passo". Os estudantes passaram a usar cada vez mais a IA para esclarecimento de conceitos e passos procedimentais, com um aumento notável em estratégias de prompting sofisticadas (ex: definição de restrições, ceticismo em relação aos outputs).
• Correlações de Desempenho: No baseline, o uso de IA específico para mecânica estava inversamente relacionado ao desempenho (estudantes do quartil superior eram menos propensos a usar IA para mecânica do que os do quartil inferior). Ao final do semestre, esse gradiente diminuiu à medida que o uso se tornou onipresentente em todos os níveis de desempenho. O estudo observa que este é um padrão descritivo consistente tanto com alunos em dificuldade buscando ajuda quanto com alunos de alto desempenho deslocando a prática independente; o design não pode distinguir essas direções.
• Impacto da Intervenção: Entre o grupo de intervenção, a frequência de presença autorrelatada foi alta, mas o engajamento foi modesto. O feedback foi polarizado: os estudantes consideraram as demonstrações ou altamente úteis para a utilidade do curso ou sentiram que faltava relevância para o conteúdo imediato do curso. A intervenção não produziu uma mudança clara e mensurável nos padrões de uso agregados em comparação com as seções não intervencionadas, embora os autores alertem que variáveis de confusão não medidas (ex: identidade do instrutor, diferenças de matrícula nas seções) impedem conclusões definitivas sobre a eficácia da intervenção.

Principais Contribuições

1. Instantâneo Empírico: O estudo fornece um conjunto de dados oportuno e específico do domínio detalhando como estudantes de mecânica das estruturas integram a IA generativa em seus fluxos de trabalho, atitudes e práticas de verificação na Primavera de 2026.
2. Estrutura Reprodutível: Os autores disponibilizam uma estrutura metodológica completa, incluindo o instrumento de pesquisa completo, a sequência das nove demonstrações estruturadas de IA e os codebooks para codificação qualitativa.
3. Protocolo de Codificação por Máquina: O artigo documenta um pipeline rigoroso de múltiplos modelos de LLM para codificação qualitativa, demonstrando alta confiabilidade entre modelos e oferecendo uma abordagem escalável para analisar grandes volumes de dados de texto educacional.
4. Dados Abertos: Conjuntos de dados desidentificados (separados em arquivos quantitativos e qualitativos) e o código de análise estão publicamente disponíveis para permitir a reprodutibilidade e pesquisas adicionais.

Significância e Alegações
O artigo posiciona-se como um passo descritivo fundamental em um esforço de pesquisa maior e contínuo. Os autores declaram explicitamente que o estudo não foi desenhado para fazer alegações causais sobre os efeitos das demonstrações de IA devido ao design quase-experimental e ao tamanho modesto da amostra. Em vez disso, a significância reside em fornecer um "ponto de partida empírico" para compreender os comportamentos dos estudantes em um cenário tecnológico de rápida mudança.

Os autores argumentam que navegar pela integração de LLMs requer uma abordagem colaborativa e baseada em evidências. Ao tornar o design, as ferramentas e os materiais de seu estudo de acesso aberto, eles visam estabelecer uma base reprodutível para que outros educadores coletem dados semelhantes. O trabalho sugere que o impacto dos LLMs no aprendizado depende menos da tecnologia em si e mais de como ela é usada e guiada. O estudo conclui que, embora as demonstrações específicas possam precisar de evolução conforme as capacidades da IA mudam, a abordagem estruturada de modelar a delegação estratégica e a avaliação oferece um recurso viável para educadores de engenharia. O objetivo final é desenvolver métodos éticos e longitudinais para avaliar como o uso onipresente de LLMs remodela o ensino da engenharia.