💻 computer science

Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

Este artigo argumenta que a atribuição de autoria é estruturalmente impossível para formatos de avaliação convergentes, como questões de múltipla escolha, porque as respostas corretas contêm zero entropia residual, tornando as atuais políticas de integridade de IA baseadas na detecção de ensaios insustentáveis para disciplinas quantitativas e necessitando de controles específicos por modalidade.

Autores originais: TANZIM ISLAM KHAN

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: TANZIM ISLAM KHAN

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: "Quem escreveu isto?". No mundo das escolas e universidades, esta é a questão definitiva da integridade acadêmica. Durante anos, a principal ferramenta que os detetives usaram foi um tipo especial de "scanner de impressões digitais" projetado para histórias longas e fluidas — ensaios. Esses scanners procuram hábitos minúsculos e únicos na forma como uma pessoa escreve, como o uso de vírgulas ou a estrutura de suas frases. Mas aqui está a reviravolta: os chatbots de IA estão ficando tão bons em escrever essas histórias que os scanners estão tendo dificuldades. As escolas estão tentando corrigir isso aplicando a mesma lógica do "scanner de ensaios" a tudo mais que os alunos fazem, como problemas matemáticos, testes de múltipla escolha e tarefas de programação.

Para entender por que isso pode ser um beco sem saída, precisamos olhar para duas ideias simples. Primeiro, pense na "informação" como a quantidade de detalhe único em uma mensagem. Um ensaio longo é como uma impressão digital bagunçada e única; possui toneladas de detalhes minúsculos que podem identificar quem o fez. Uma resposta matemática, como o número "42", é como uma mármore perfeita e lisa. Se duas pessoas resolverem o mesmo problema corretamente, ambas produzirão exatamente o mesmo "42". Não há bagunça, não há impressão digital única e não há detalhes extras para inspecionar. Segundo, pense na "atribuição de autoria" como o ato de usar esses detalhes únicos para provar quem fez o trabalho. Se não existem detalhes únicos para começar, nenhuma quantidade de tecnologia sofisticada pode magicamente inventá-los. Este artigo faz uma pergunta ousada: O que acontece quando tentamos usar um scanner de impressões digitais em um mármore perfeitamente liso?

A Grande Descoberta do Artigo: O Problema do "Mármore Liso"

Este artigo de pesquisa, intitulado "Convergent assessment cannot be policed" [Avaliação convergente não pode ser policiada], argumenta que as escolas estão cometendo um erro fundamental. Elas estão tentando usar regras baseadas em ensaios para policiar matemática, ciências e testes de múltipla escolha, mas o autor diz que isso é impossível. Não é que os detectores de IA sejam ruins ou que as ferramentas precisem ser melhoradas; é que o próprio tipo de trabalho não contém informação suficiente para identificar o autor.

O autor introduz um conceito chamado "entropia residual". Imagine que você está assando biscoitos. Se você pedir a um aluno para "escrever uma história sobre um biscoito", ele pode escrever um poema, uma história de terror ou uma receita. Existem milhões de maneiras de fazer isso, e cada versão tem uma "impressão digital" única do estilo do escritor. Isso é alta entropia. Mas se você pedir a um aluno para "resolver X" e a resposta for "5", existe apenas uma maneira correante de escrever essa resposta. Quer seja um gênio humano, um aluno com dificuldades ou um robô superinteligente que a escreveu, o resultado é exatamente o mesmo "5". O autor chama isso de entropia residual zero. Uma vez que a resposta está correta, não resta nenhuma variação para analisar.

O artigo prova matematicamente que você não pode extrair mais informação do que o que realmente está lá. Se a resposta é apenas uma única letra ou número, não há "sinal" para encontrar. Tentar usar detectores de IA nesses formatos é como tentar encontrar uma impressão digital em um pedaço de vidro perfeitamente liso e em branco. Não importa quão poderoso seja o seu microscópio, você não encontrará uma digital porque o vidro não tem uma.

As Três Zonas de Risco

O autor utilizou dados de 19 estudos diferentes em 13 disciplinas para mapear onde as diferentes tarefas escolares se encaixam. Ele descobriu três "zonas" ou regimes distintos:

A Zona Exposta (A Zona de Perigo): Inclui questões de múltipla escolha, respostas numéricas curtas e conjuntos de problemas padrão. Nesta zona, a IA é incrivelmente boa (frequentendo pontuações acima de 96% em múltipla escolha), mas as respostas têm zero sinal de autoria. O artigo argumenta que, nesta zona, você simplesmente não consegue dizer se um humano ou um robô fez o trabalho. Não é uma questão de ser "difícil de dizer"; é que a pergunta "Quem fez isso?" não tem resposta.
A Zona Latente (A Sala de Espera): Inclui problemas numéricos curtos onde a IA ainda não é boa o suficiente para passar facilmente. Estas são "seguras" apenas porque a IA ainda não é inteligente o suficiente. Mas o autor alerta que isso é um relógio de contagem regressiva. Assim que a IA melhorar nessas tarefas, a "segurança" desaparecerá instantaneamente porque ainda não há sinal de autoria para servir de suporte.
A Zona Detectável (A Zona Segura): Inclui ensaios longos, escrita reflexiva e projetos complexos de programação. Aqui, as respostas são tão variadas e únicas que os detectores de IA podem funcionar. O artigo observa que a pesquisa para detectar IA em código é, de fato, bem-sucedida porque o código possui detalhes de "impressão digital" suficientes, ao contrário de uma simples resposta matemática.

Os Números Chocantes

Quando o autor aplicou essa lógica a um programa típico de ciência e engenharia universitária, os resultados foram surpreendentes. Ele descobriu que 38% das notas finais nesses programas vêm de tarefas na "Zona Exposta" (como múltipla escolha e listas de problemas). Em contraste, apenas 5% dos programas de humanidades caem nessa armadilha.

Se você elevar o padrão de prova para o necessário em um caso criminal (um patamar muito alto), o número de tarefas expostas em ciência e engenharia salta para 52%. Isso significa que, para mais da metade da nota final de um estudante de ciências, a escola não tem como provar quem realmente fez o trabalho, e nenhum instrumento existe que possa fazer isso.

O Que Isso Significa para as Escolas

O artigo descarta explicitamente a ideia de que podemos simplesmente comprar softwares melhores para resolver isso. O autor afirma claramente que nenhuma melhoria na tecnologia de detecção pode resolver o problema para questões de múltipla escolha ou matemática, porque a informação simplesmente não está lá para ser encontrada. Tentar acusar um aluno de usar IA não autorizada em um teste de matemática com base em "detecção de IA" não é apenas ineficaz; o autor argumenta que é matematicamente impossível de provar.

Em vez disso, o artigo sugere que as escolas precisam mudar sua estratégia inteiramente:

Pare de tentar policiar o inpoliciável: Não use detectores de autoria em múltipla escolha ou matemática de resposta curta. É uma perda de tempo e leva a acusações injustas.
Mude o jogo: Se você quer saber quem fez o trabalho, precisa mudar a tarefa. Use exames supervisionados (onde um professor observa você), peça aos alunos para explicarem seu raciocínio pessoalmente ou desenhe questões que sejam específicas para a sala de aula local para que a IA não possa simplesmente procurar a resposta.
Aceite os limites: Para a "Zona Exposta", a única segurança real é prevenir o uso da IA em primeiro lugar (como em uma sala trancada), não tentar pegá-la depois do fato.

Em suma, o artigo conclui que a abordagem atual de "tamanho único" para a integridade acadêmica está quebrada. Você não pode usar uma ferramenta projetada para ensaios para policiar problemas matemáticos. Para uma grande parte do ensino de ciências e engenharia, a questão não é "Como pegamos os trapaceiros?", mas sim "Como desenhamos nossos testes para que a própria questão do uso não autorizado de IA nem faça sentido?"

Resumo Técnico: A Avaliação Convergente Não Pode Ser Policiada

Definição do Problema
As atuais políticas de integridade acadêmica para a inteligência artificial (IA) generativa são estruturalmente falhas porque foram desenhadas em torno da redação (essay) e aplicadas indiscriminadamente a todos os formatos de avaliação. Embora ferramentas de detecção, requisitos de evidência de processo e orientações de segurança funcionem sob a premissa de artefatos de prosa estendida, elas são rotineiramente aplicadas a formatos convergentes, como itens de múltipla escolha, problemas numéricos e respostas curtas. Este artigo argumenta que essa generalização é tecnicamente incorreta não devido à falta de sofisticação tecnológica, mas devido a uma limitação fundamental da teoria da informação. Em formatos convergentes, as respostas corretas são frequentemente byte a byte idênticas, independentemente do autor, tornando a atribuição de autoria matematicamente indefinida, em vez de meramente difícil.

Metodologia
O artigo emprega um arcabouço de teoria da informação para analisar a segurança da avaliação, introduzindo o conceito de entropia residual.

Limite Teórico: O autor define a entropia residual, $H(R|C)$ , como a entropia de uma distribuição de resposta condicionada ao fato de a resposta ser aceitável (correta). Estabelece que a informação mútua entre uma resposta e seu autor, $I(R; A|C)$ , é limitada por esta entropia residual. Consequentemente, qualquer padrão de evidência que exija uma probabilidade posterior específica demanda um número mínimo de "bits de autoria" ( $b(p, \pi)$ ). Se a entropia residual de uma tarefa cair abaixo deste limite, a atribuição de autoria é impossível, independentemente do instrumento utilizado.
Caracterização de Modalidades: Dez modalidades de avaliação foram posicionadas em uma escala logarítmica de entropia residual baseada na estrutura da tarefa (número de respostas aceitáveis e liberdade de expressão). As estimativas utilizaram valores de entropia padrão para prosa em inglês, onde aplicável.
Corpus de Capacidade: O estudo reuniu 19 medições publicadas de desempenho de IA em 13 disciplinas. Essas pontuações foram normalizadas para a parcela de notas disponíveis para garantir a comparabilidade. O corpus incluiu dados variando desde itens de múltipla escolha baseados em conhecimento (96,3% de aproveitamento) até codificação clínica localmente especificada (7,0% de aproveitamento).
Classificação de Regimes: Um modelo de três regimes foi construído cruzando duas dimensões: capacidade de IA (definida como >60% de aproveitamento) e o piso de entropia residual (a entropia mínima necessária para atender a um padrão de evidência).

Principais Contribuições

Limite Formal: O artigo deriva uma prova formal (Proposição 1) demonstrando que a informação identificadora de autoria é estritamente limitada pela entropia residual da resposta. Estabelece que a avaliação convergente situa-se abaixo do piso de entropia necessário para qualquer padrão de evidência defensável.
Caracterização de Modalidades: Fornece um ordenamento principista de dez modalidades de avaliação baseadas em sua entropia residual, distinguindo formatos que carregam um sinal de autoria daqueles que não o carregam.
Corpus de Capacidade: Compila um conjunto de dados transdisciplinares de desempenho de IA, destacando a vasta variação no aproveitamento da IA dependendo do tipo de avaliação.
Modelo de Três Regimes: O artigo particiona a avaliação em três regimes distintos:
- Exposto (Exposed): Tratável por IA, mas abaixo do piso de entropia (sem sinal de autoria).
- Latente (Latent): Seguro apenas porque os modelos atuais carecem de capacidade, mas carente de um sinal de autoria para quando eles melhorarem.
- Detectável (Detectable): Acima do piso de entropia, suportando controles baseados em autoria.

Resultos

Piso de Entropia: Sob um padrão de "prova clara e convincente" com uma estimativa central de rendimento de sinal, o piso de entropia é de aproximadamente 39,6 bits.
Modalidades Abaixo do Piso: Itens de múltipla escolha (0 bits), respostas numéricas curtas (1 bit), conjuntos de problemas (18 bits) e prosa de resposta curta (24 bits) caem abaixo do limite. Nesses formatos, a atribuição de autoria não fornece evidência alguma.
Modalidades Acima do Piso: Tarefas de programação (150 bits) e projetos de design aberto (8.000 bits) excedem o piso, permitindo potencial detecção.
Aproveitamento de IA: O desempenho da IA é mais alto em formatos restritos (ex: 96,3% em múltipla escolha) e menor em tarefas abertas ou localmente especificadas.
Exposição de Programa: Em um programa representativo de ciências e engenharia, 38% da avaliação somativa cai no regime exposto (tratável por IA, mas indetectável), comparado a apenas 5% em um programa de humanidades. Incluindo as tarefas latentes, 56% da avaliação de ciências/engenharia está abaixo do piso de entropia. Sob um padrão de evidência "criminal" mais rigoroso, a parcela exposta sobe para 52%.
Confirmação na Literatura: O modelo prevê que a pesquisa de detecção de autoria deve estar ausente para formatos abaixo do piso de entropia. A literatura confirma isso: existe pesquisa extensiva para prosa e código (acima do piso), mas nenhum estudo tenta a atribuição de autoria para respostas de múltipla escolha ou numéricas porque os artefatos não contêm sinal para detectar.

Significância e Alegações
O artigo alega que a abordagem atual de integridade acadêmica nas disciplinas quantitativas está fundamentalmente desalinhada com a natureza da avaliação. A principal significância do trabalho é o reenquadramento do problema: para uma parte substancial do currículo (particularmente em STEM), a questão de "qual detector comprar" é inválida porque a informação necessária para a detecção não existe.

O autor argumenta que os controles de integridade devem ser compatíveis com a modalidade. Para o regime exposto, controles baseados em autoria (estilometria, evidência de processo, classificação de saída) não são apenas ineficazes, mas geram acusações infundadas. A segurança nesses regimes deve, em vez disso, basear-se em condições (supervisão, verificação interativa) ou design (individualização da tarefa, conteúdo localmente especificado). Para o regime latente, a segurança é temporária e expira conforme as capacidades dos modelos melhoram.

O artigo conclui que a política de integridade deve mudar de um modelo de "tamanho único" baseado em redação para uma abordagem específica por modalidade que reconheça os limites da teoria da informação para a atribuição de autoria. O objetivo não é melhorar as ferramentas de detecção para tarefas convergentes, mas redesenhar a avaliação para garantir que o peso somativo seja carregado por formatos onde a segurança é coerente e verificável.

Mais como este