From Agent Labels to Accountable Deployment: Evidence Maturity and Meaningful Human Oversight for Agentic AI in Higher Education

O ensino superior está diante de um ponto de virada silencioso, mas significativo. Durante anos, a inteligência artificial nas salas de aula funcionou de forma muito semelhante a um bibliotecário muito rápido e muito conhecedor. Um aluno faz uma pergunta e o sistema fornece uma resposta. Se a resposta estiver errada, o aluno simplesmente pergunta novamente ou verifica outra fonte. O risco é limitado a um momento de confusão. Mas uma nova geração de software está começando a emergir que faz mais do que apenas falar. Esses sistemas, frequentemente chamados de inteligência artificial "agêntica", podem fazer coisas. Eles podem decompor um grande objetivo em etapas menores, escolher quais ferramentas usar, reunir informações de diferentes lugares e, então, executar um plano sem direção humana constante. Imagine um sistema que não apenas escreve uma redação para um aluno, mas um que pode redigir a redação, verificar as fontes, enviá-la para um portal de notas e, depois, enviar um e-mail ao professor com o resumo do trabalho realizado. Essa mudança de responder perguntas para realizar ações altera a natureza do risco. Quando um sistema apenas fala, um erro é apenas uma frase errada. Quando um sistema age, um erro pode alterar o registro de um aluno, expor dados privados ou desencadear uma cadeia de eventos difícil de desfazer.

A questão que as universidades enfrentam hoje não é se essas ferramentas poderosas funcionam, mas se sabemos o suficiente para deixá-las operar por conta própria. Uma nova revisão crítica pelo pesquisador Abhishek Dey, da Universidade Estadual do Ural do Sul, examina o estado atual desta tecnologia no ensino superior. O estudo não analisa a tecnologia de forma isolada; em vez disso, faz uma pergunta ética difícil: temos provas suficientes de que esses sistemas são seguros, justos e benéficos antes de lhes entregarmos as chaves de decisões importantes? A revisão analisa dezenas de estudos e relatórios existentes para descobrir o que a evidência realmente sustenta e onde permanecem as lacunas. As descobertas sugerem que, embora esses sistemas possam melhorar tarefas específicas e pequenas, a evidência ainda não é forte o suficiente para justificar deixá-los tomar grandes decisões sobre o futuro dos alunos.

A revisão começa esclarecendo o que conta como um "agente". Nem todo chatbot ou ferramenta automatizada se enquadra nesta descrição. Para ser considerado um verdadeiro agente, um sistema deve ser capaz de planejar uma sequência de ações, lembrar o contexto de conversas anteriores, usar ferramentas externas e verificar seu próprio trabalho. Muitos estudos na área confundem esses sistemas avançados com sistemas mais simples que apenas geram texto. Essa confusão levou ao que o autor chama de "inflação de rótulos", onde qualquer ferramenta automatizada é descrita como um agente, e "inflação de resultados", onde pequenas melhorias na aparência ou no som de um sistema são confundidas com melhorias reais no aprendizado dos alunos. A revisão constata que a literatura está repleta dessas afirmações amplas, mas a evidência é frequentemente frágil. A prova mais forte existe para o quão bem esses sistemas produzem artefatos específicos, como um feedback sobre a escrita de um aluno. No entanto, a evidência torna-se muito mais fraca quando se observa se os alunos realmente aprendem mais, se o sistema trata todos com equidade ou se reduz a carga de trabalho dos professores a longo prazo.

Uma das descobertas mais marcantes é que os estudos mais promissores são frequentemente experimentos de site único e de curta duração que não contam a história toda. Por exemplo, um estudo testou um sistema que dava feedback a alunos de ciências do ensino fundamental. O sistema, usando dois agentes diferentes para verificar o trabalho um do outro, reduziu significativamente o número de vezes que dava elogios exagerados ou inventava fatos. Este é um sucesso técnico claro. No entanto, o estudo não mostrou se os alunos realmente aprenderam mais ciência devido a esse feedback, ou se os professores economizaram tempo após terem que verificar o trabalho do agente. Outro estudo observou um sistema usado em um escritório de admissões universitárias para responder perguntas de candidatos. O sistema respondeu a milhares de perguntas de forma rápida e precisa, com pouquíssimos erros. Mas este foi um teste de duas semanas. Não mostrou como o sistema lidaria com um semestre inteiro de admissões, como afetaria a justiça de quem é aceito ou como mudaria a carga de trabalho da equipe que precisa gerenciar o processo. A revisão conclui que, embora esses sistemas sejam tecnicamente impressionantes, ainda estamos nos estágios iniciais de compreensão de seu impacto no mundo real.

A revisão também destaca uma lacuna crítica na forma como gerenciamos esses sistemas. Muitos relatórios falam em "supervisão humana", sugerindo que um professor ou administrador está observando o sistema. Mas a revisão argumenta que ter um humano presente não é o mesmo que ter controle eficaz. A verdadeira supervisão significa que o humano pode ver o que o sistema está fazendo, pará-lo se algo der errado e reverter suas ações se um erro for cometido. Em muitas configurações atuais, o humano é apenas um carimbo de aprovação, aprovando saídas sem a capacidade de entender as etapas complexas que o sistema percorreu para chegar lá. Isso é perigoso porque, se um sistema tomar uma decisão ruim, a pessoa responsável pode não ter as ferramentas para corrigi-la. A revisão aponta que, sem uma supervisão forte e testada, não podemos eticamente permitir que esses sistemas tomem decisões que afetam a vida das pessoas, como dar notas em exames ou decidir quem entra em um programa.

Para resolver esse descompasso entre o que os sistemas podem fazer e o que sabemos sobre eles, o autor propõe um novo framework chamado Autonomia-Supervisão-Evidência. Este framework sugere que a liberdade que damos a uma inteligência artificial nunca deve exceder a força da prova de que ela é segura, nem a força do controle humano que temos sobre ela. O framework decompõe a autonomia em níveis, desde um sistema que simplesmente escreve uma frase em resposta a um comando, até um sistema que pode tomar decisões consequentes sobre o futuro de um aluno. Ele também decompifica a evidência em níveis, desde um teste computacional simples até um teste de longo prazo no mundo real em várias escolas. A regra é simples: você não pode dar a um sistema liberdade de alto nível a menos que tenha prova de alto nível e controle humano de alto nível. Se a evidência for fraca, ou se a supervisão humana for apenas uma formalidade, as permissões do sistema devem ser mantidas estreitas e reversíveis.

As implicações desta descoberta são significativas para a forma como as universidades devem seguir adiante. A revisão não argumenta que esses sistemas devam ser banidos. Em vez disso, defende uma abordagem cautelosa e medida. As universidades não devem assumir que um sistema que funciona bem em um laboratório funcionará bem em uma sala de aula real. Elas precisam testar essas ferramentas em seus próprios contextos específicos, observando cuidadosamente quem se beneficia e quem pode ser prejudicado. Precisam garantir que professores e funcionários tenham o poder de interromper o sistema e que os alunos tenham uma maneira de contestar decisões tomadas pela máquina. A revisão enfatiza que o ônus da prova recai sobre a instituição. Antes de entregar qualquer autoridade real a um agente artificial, a escola deve mostrar que possui a evidência para apoiar isso e as pessoas em vigor para gerenciar isso.

Em última análise, o artigo serve como um chamado à clareza e à responsabilidade. A tecnologia está se movendo rápido, evoluindo de ferramentas que respondem perguntas para sistemas que tomam ações. Mas a evidência de sua segurança e justiça não acompanhou esse ritmo. A revisão constata que, embora esses agentes possam melhorar certas tarefas, ainda não estamos prontos para confiar a eles as grandes decisões que moldam a educação de um aluno. O caminho a seguir não é deter a inovação, mas desacelerar e construir as salvaguardas necessárias. Ao combinar o poder do sistema com a força da evidência e a qualidade do controle humano, as universidades podem garantir que essas ferramentas poderosas sirvam aos alunos sem comprometer os valores de equidade, responsabilidade e aprendizado. O objetivo não é impedir o futuro, mas garantir que, quando ele chegar, esteja construído sobre uma base de verdade e confiança.