Auditing Student-AI Collaboration: A Case Study of Online Graduate CS Students

Este estudo de caso utiliza uma auditoria de métodos mistos com dois questionários sequenciais para analisar as preferências de colaboração entre alunos de pós-graduação em Ciência da Computação e IA, identificando lacunas entre as capacidades atuais dos sistemas e as expectativas normativas dos estudantes a fim de orientar o desenvolvimento de ferramentas educacionais mais eficazes e confiáveis.

O essencial

Imagine que você está aprendendo a cozinhar em uma escola de culinária muito avançada. Recentemente, a escola introduziu um "Robô Chef" (a Inteligência Artificial) que pode ajudar os alunos a preparar pratos.

Este estudo é como uma auditoria (uma inspeção cuidadosa) feita por um pesquisador para entender como os alunos de pós-graduação em Ciência da Computação estão usando esse Robô Chef. O objetivo não é apenas ver se eles usam, mas como usam, o que sentem sobre isso e o que querem que o robô faça no futuro.

Aqui está o resumo da história, dividido em partes simples:

1. O Grande Desejo vs. A Realidade (O "Mapa de Cores")

Os pesquisadores perguntaram aos alunos duas coisas para cada tarefa (como escrever um e-mail, consertar um código ou resumir um livro):

1. O que você quereria que o robô fizesse? (Você quer que ele faça tudo sozinho? Ou apenas ajude um pouco?)
2. O que você realmente faz hoje? (Você deixa o robô fazer tudo ou faz você mesmo?)

Eles criaram um "Mapa de Tráfego" com quatro zonas para classificar essas tarefas:

• 🟢 Luz Verde (Zona de Confiança): Aqui, os alunos querem que o robô ajude muito e, de fato, eles já o usam muito.
  • Exemplo: Arrumar a formatação de uma lista de referências bibliográficas ou corrigir erros de gramática. É como usar um robô para lavar a louça: é chato, o robô é bom nisso, e ninguém se importa se ele faz sozinho.
• 🔴 Luz Vermelha (Zona de Perigo): Aqui, os alunos dizem "Não! Eu quero fazer isso eu mesmo", mesmo que o robô seja capaz de fazer.
  • Exemplo: Escrever um e-mail formal para um professor. Os alunos têm medo de parecerem pouco profissionais ou de o robô errar o tom da conversa. É como tentar deixar um robô dirigir seu carro em uma estrada de terra cheia de buracos: você prefere segurar o volante.
• 🟡 Oportunidade de Pesquisa (O "Quase Lá"): Os alunos querem muito que o robô ajude, mas ainda não confiam o suficiente para usá-lo totalmente.
  • Exemplo: Criar um plano de estudos personalizado ou gerar perguntas de teste. Eles gostam da ideia, mas acham que o robô ainda não é "esperto" o suficiente para entender as nuances da vida deles. É como querer um carro autônomo, mas ainda ter medo de entrar no banco do passageiro porque o sistema parece instável.
• ⚪ Baixa Prioridade: Tarefas onde ninguém quer que o robô faça nada, nem mesmo os alunos.
  • Exemplo: Tarefas muito específicas que exigem o toque humano único.

2. Por que eles têm medo? (Os "Fantasmas" da Cozinha)

O estudo descobriu que os alunos usam o robô principalmente para economizar tempo e reduzir o cansaço mental. Eles querem que o robô faça o trabalho "sujo" e repetitivo.

No entanto, existem dois grandes medos que impedem eles de deixar o robô fazer tudo:

1. Alucinações (O Robô Mentiroso): O robô às vezes inventa fatos com tanta confiança que parece verdade. Os alunos têm medo de estudar algo errado.
2. Perda de Músculo Mental: Eles têm medo de que, se deixarem o robô pensar por eles, seus próprios cérebros vão "atrofiar" e eles não aprenderão de verdade. É como usar uma cadeira de rodas para ir à academia: você chega lá, mas não fica mais forte.

3. O que os alunos querem que o Robô mude? (O Manual de Instruções)

Quando perguntaram como consertar esses medos, os alunos não pediram um robô "mais inteligente" ou "mais rápido". Eles pediram um robô mais honesto e transparente.

Eles sugeriram três regras de ouro para o design do Robô Chef:

• Mostre a Receita (Transparência): Se o robô der uma informação, ele deve mostrar de onde tirou (um link, um livro). Assim, o aluno pode verificar se é verdade.
• Diga "Não Sei" (Comunicação de Incerteza): O robô não deve fingir que sabe tudo. Se ele não tiver certeza, deve dizer: "Estou 60% confiante nisso" ou "Isso é uma suposição". Isso evita que o aluno confie cegamente em uma mentira.
• Mostre o Pensamento (Explicabilidade): Em vez de dar apenas a resposta final, o robô deve mostrar "como" ele chegou lá. É como se o professor mostrasse os passos do cálculo no quadro, não apenas o resultado. Isso permite que o aluno aprenda e intervenha se o robô estiver errando.

Conclusão: A Parceria Ideal

A mensagem principal deste estudo é que os alunos não querem ser substituídos pelo robô. Eles querem ser capitães e o robô deve ser o primeiro oficial.

Eles querem usar a tecnologia para voar mais alto, mas precisam manter o controle do leme. O futuro da IA na educação não é sobre fazer tudo pelo aluno, mas sobre criar ferramentas que sejam honestas sobre seus erros e que ajudem o aluno a pensar melhor, não a parar de pensar.

Em resumo: Não nos dê um robô que pense por nós; dê-nos um robô que nos ajude a pensar com mais clareza e que nos avise quando estiver mentindo.

Resumo técnico

1. Problema e Contexto

A integração de Inteligência Artificial Generativa (GenAI) no ensino superior está a transformar a forma como os estudantes realizam tarefas académicas. Embora estas ferramentas ofereçam ganhos de eficiência e suporte, persistem preocupações críticas sobre a sobre-automatização, a diminuição da agência do estudante e a produção de resultados não confiáveis ou alucinados.

Existe uma lacuna na compreensão de como os estudantes navegam na colaboração com a IA em diversas tarefas. Não basta saber se usam a IA; é necessário entender as tensões entre a automação desejada e a utilização real, bem como os limites éticos e cognitivos que os estudantes impõem a estas ferramentas. O estudo visa identificar as lacunas entre as capacidades atuais da IA e as expectativas normativas dos estudantes, informando o desenvolvimento de sistemas de IA mais confiáveis e centrados no ser humano para a educação.

2. Metodologia

O estudo adota uma abordagem de métodos mistos (quantitativo e qualitativo) com uma perspectiva de IA Centrada no Humano (HCAI).

• Participantes: 44 estudantes do programa de Mestrado Online em Ciência da Computação (OMSCS) do Instituto de Tecnologia da Geórgia (Georgia Tech) que utilizam IA nas suas tarefas académicas.
• Estrutura do Estudo: Realizado em duas fases sequenciais e complementares.
  • Fase 1 (Inquérito Quantitativo): Avaliou 12 tarefas académicas específicas (ex: resumir artigos, depurar código, formatar citações, brainstorming).
    • Utilizou uma escala Likert de 5 pontos baseada no Human Agency Scale (HAS) para medir:
      1. Nível de Automação Desejado: O quanto o estudante gostaria que a IA interviesse (de "sem envolvimento" a "autonomia total").
      2. Nível de Uso Real: A frequência e profundidade com que o estudante atualmente utiliza a IA para essa tarefa.
    • Coletou as principais razões para o uso (ex: poupar tempo, reduzir carga cognitiva) e preocupações (ex: informações imprecisas, plágio, redução do pensamento crítico).
  • Fase 2 (Inquérito Qualitativo): Focou na preocupação mais prevalente identificada na Fase 1 (informações imprecisas/alucinações). Os participantes responderam a perguntas abertas sobre quais funcionalidades e princípios de design seriam necessários para mitigar esses riscos.
• Análise de Dados:
  • Classificação das tarefas em 4 Zonas de Alinhamento com base na discrepância entre desejo e uso:
    1. Luz Verde (Green Light): Alta desejo, alto uso (Alinhamento positivo).
    2. Oportunidade de P&D (R&D Opportunity): Alto desejo, baixo uso (Gaps de capacidade/tecnologia).
    3. Baixa Prioridade (Low Priority): Baixo desejo, baixo uso.
    4. Luz Vermelha (Red Light): Baixo desejo, alto uso (Risco de uso inadequado).

3. Principais Contribuições

• Auditoria Granular: Mapeamento detalhado de 12 tarefas educacionais distintas, indo além de uma visão genérica sobre o uso de IA.
• Modelo de Alinhamento: Aplicação e adaptação do Human Agency Scale para o domínio educacional, criando um mapa visual das zonas de adoção de IA.
• Especificidade de Tarefa: Demonstração de que a aceitação da IA não é binária, mas altamente dependente do tipo de tarefa (procedural vs. cognitiva vs. social).
• Requisitos de Design Baseados em Evidências: Identificação de funcionalidades específicas que os estudantes consideram essenciais para a confiança (ex: citacão de fontes, indicadores de incerteza).

4. Resultados Chave

RQ1: Desejo vs. Uso Real (Zonas de Automação)

• Luz Verde (Alta Adoção): Tarefas procedimentais e verificáveis, como formatar citações (T2), revisão gramatical (T4), resumo de notas (T11) e depuração de código (T5). Os estudantes confiam na IA aqui porque os erros são fáceis de detetar e as consequências são baixas.
• Oportunidade de P&D (Gaps Significativos): Tarefas que exigem contextualização, personalização ou raciocínio profundo, como criar planos de estudo (T6), gerar flashcards (T7), recomendar recursos (T8) e resolver problemas quantitativos passo a passo (T10). Os estudantes desejam mais automação, mas o uso atual é baixo devido à desconfiança na fiabilidade ou precisão da IA.
• Luz Vermelha/Baixa Prioridade: Tarefas sociais sensíveis (ex: redigir e-mails profissionais (T9)) mostram hesitação, onde o uso é baixo apesar de algum interesse, devido a preocupações com tom e responsabilidade interpessoal.

RQ2: Motivações e Preocupações

• Motivações Dominantes: A poupança de tempo e a redução da carga cognitiva são os principais impulsionadores, especialmente em tarefas de escrita e organização.
• Preocupações Específicas:
  • Em tarefas de escrita e revisão, as preocupações são mínimas (muitas vezes "Nenhuma"), pois a IA é vista como uma assistente pragmática.
  • Em tarefas de ideação (brainstorming), a preocupação dominante é a redução do pensamento crítico, indicando que os estudantes veem a geração de ideias como central para a sua aprendizagem.
  • Em tarefas técnicas e quantitativas, a preocupação principal é a informação imprecisa/alucinação, devido ao alto custo do erro e à dificuldade de verificação.

RQ3: Expectativas de Design

Os estudantes rejeitaram a ideia de uma IA "confiante" e autoritária. As funcionalidades mais solicitadas para aumentar a confiança foram:

1. Transparência e Verificabilidade: Fornecimento de citações de fontes clicáveis e referências para que o estudante possa validar a informação independentemente.
2. Comunicação de Incerteza: A IA deve exibir escores de confiança, métricas de fiabilidade ou admitir explicitamente quando não sabe a resposta, em vez de alucinar com confiança.
3. Explicabilidade: Visibilidade do "processo de pensamento" (passos de raciocínio) para permitir que o estudante intervenha e critique a lógica da IA.
4. Sinalização de Alucinações: Mecanismos claros para flagar conteúdo potencialmente falso.

5. Significado e Conclusão

O estudo conclui que a adoção de IA pelos estudantes é condicional e avaliadora, não indiscriminada. Os estudantes não rejeitam a IA, mas impõem limites baseados no valor de aprendizagem, na responsabilidade e na detetabilidade de erros.

• Implicações para Design: Os sistemas de IA educacional não devem otimizar apenas para a automação total. Devem ser projetados para aumentar a agência humana, fornecendo ferramentas de verificação, transparência e controle. A confiança na educação deve ser construída através da verificabilidade e da gestão da incerteza, e não através da ilusão de perfeição.
• Futuro: O trabalho sugere a necessidade de desenvolver ferramentas que suportem o "pensamento crítico" em vez de substituí-lo, alinhando a tecnologia com os objetivos pedagógicos de manter o estudante como o agente principal da sua aprendizagem.