Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

Resumo Técnico: Rumo à Avaliação Resiliente à IA em Cursos de Ciência da Computação em um Mundo Nativo de IA

Declaração do Problema
O artigo aborda a mudança fundamental na educação em ciência da computação causada pela IA generativa, onde estudantes podem produzir códigos, provas e relatórios indistinguíveis do trabalho humano. O autor argumenta que o foco institucional atual em proibição, detecção e monitoramento falha em abordar a questão educacional central: Qual habilidade permite que um estudante alcance resultados além de uma pessoa que meramente possui acesso à IA? O artigo postula que, para cursos de nível sênior, a IA deve ser tratada como um colaborador basal, em vez de uma ferramenta proibida. O desafio é projetar avaliações que graduem "habilidades resilientes à IA" — a capacidade de direcionar a IA para alcançar compensações (tradeoffs) que não são fornecidas pelo próprio baseline da IA — sem depender da detecção de autoria ou assumir que os alunos não usarão a IA.

Metodologia: Um Framework Formal para Graduação Resiliente à IA
O artigo propõe um framework formal mínimo onde a avaliação é definida pelo comportamento executável, em vez da autoria. A metodologia central baseia-se em quatro objetos: uma tarefa real, um avaliador executável, uma fronteira de Pareto nativa de IA declarada e uma regra de graduação baseada em excedente de Pareto.

1. Tarefa Real e Avaliador: Uma tarefa é definida não apenas por um prompt, mas por uma tupla que inclui um espaço de submissão, um protocolo de benchmark (desenvolvimento público e avaliação oculta), restrições de correção rígidas e um avaliador executável total ($E_T$) que mapeia submissões para um vetor de pontuações ($R^d$).
2. Fronteira de Pareto Nativa de IA: Antes da graduação, uma "linha de base nativa de IA declarada" é gerada usando um protocolo de agente de IA reproduzível (incluindo modelos específicos, prompts, orçamentos e regras de seleção). As pontuações dessas submissões geradas por IA formam um conjunto $S_{AI}$. A fronteira de Pareto nativa de IA ($F_{AI}$) é o conjunto de vetores de pontuação não dominados dentro deste conjunto. Esta fronteira representa os melhores tradeoffs conhecidos alcançáveis pelo baseline de IA declarado.
3. Excedente de Pareto: Uma submissão de estudante $\pi$ é avaliada por seu excedente de Pareto ($\delta_T(\pi)$), calculado como o aumento no hipervolume dominado (em relação a um ponto de referência $r$) quando $\pi$ é adicionado à frontete.
   • Se $\delta_T(\pi) = 0$, a submissão é dominada pelo baseline de IA e não oferece um novo tradeoff.
   • Se $\delta_T(\pi) > 0$, a submissão alcança um tradeoff mensurável não coberto pelo baseline de IA.
4. Regra de Graduação: As notas são atribuídas com base no excedente de Pareto. Uma submissão nativa de IA recebe uma nota base ($g_{AI}$). Qualquer nota acima de $g_{AI}$ requer um excedente de Pareto positivo.
5. Extensões para Equidade: Para evitar que o orçamento privado de IA (ex: acesso a modelos mais poderosos ou mais computação) se torne o único determinante das notas, o framework introduz:
   • Feedback Mediado por Servidor: Um oráculo de feedback que libera apenas informações agregadas e de granularidade grosseira (ex: passar/reprovar, faixas de pontuação) em vez de entradas ocultas ou erros por instância, evitando que os alunos realizem overfitting em benchmarks ocultos via loops privados de IA.
   • Graduação com Limiar (Thresholded Grading): Um limiar $\eta_T$ é definido com base em resultados de red-teaming ($\epsilon_{red}^{bud}$) e ruído do avaliador ($\epsilon_{eval}$). Apenas o excedente que excede este limiar ($\delta > \eta_T$) é recompensado, criando uma "margem de neutralidade de orçamento" onde melhorias de IA privadas dentro do envelope declarado não geram excedente que contribua para a nota.
   • Red-Teaming de Habilidade de Prompt: O framework distingue entre "delegação genérica" (que deve fazer parte do baseline) e "racionalidades de melhoria da fronteira" (onde o estudante identifica um gargalo específico e hipotetiza uma solução). Esta última é considerada evidência de habilidade.

Instanciação Concreta: Atribuição de Filtro de Bloom
O framework é instanciado como uma tarefa de nível sênior para COMP 480/580 na Universidade Rice, centrada em estruturas de associação aproximada (filtros de Bloom).

• Dois Regimes: A atribuição utiliza duas escalas: escala MB (megabytes), focando em ajuste de parâmetros e hashing de baixo custo, e escala GB (gigabytes), focando em largura de banda de memória, localidade de cache, paralelismo e vetorização.
• Avaliação: Os estudantes devem implementar sistemas que satisfaçam restrições de correção rígidas (sem falsos negativos) enquanto otimizam um vetor de objetivos (ex: razão de compressão, taxa de falso positivo, throughput de construção/consulta).
• Processo: Os estudantes recebem uma fronteira nativa de IA congelada para ambas as escalas. Eles podem usar a IA livremente, mas estão restritos a um orçamento fixo de feedback do servidor. Para obter uma nota acima da linha de base, eles devem produzir um sistema que expanda o hipervolume além da fronteira por mais do que o limiar calculado.

Principais Contribuições

1. Modelo Formal: Um modelo matemático mínimo onde a expansão da fronteira de Pareto serve como um certificado de desempenho ao nível do artefato, além de um baseline de IA.
2. Garantia Teórica: Uma prova de que a graduação por excedente de Pareto é resiliente à IA em relação à fronteira declarada; submissões nativas de IA recebem apenas a nota base, e qualquer nota acima da base certifica a melhoria mensurada.
3. Extensões de Protocolo: Um framework para lidar com loops de IA de autoaperfeiçoamento, neutralidade de orçamento (via limiares), feedback mediado por servidor e a distinção entre competência produtiva de IA e recursos privados desiguais.
4. Automação e Incentivos: Uma explicação de como a graduação por excedente executável automatiza a avaliação e altera os incentivos contra colusão (vazar uma solução que move a fronteira reduz a nota relativa do vazador em um sistema calibrado por percentil).
5. Design Concreto: Um design específico de atribuição de Filtro de Bloom destinado para implementação no outono de 2026.

Resultados e Alegações
O artigo não relata resultados empíricos de implementações com estudantes, pois o framework é proposto para implementação futura. Em vez disso, apresenta garantias de design e teoremas lógicos:

• Teorema 1: O excedente de Pareto é um certificado mensurável de expansão de fronteira; um excedente positivo implica que o artefato não é dominado pelo baseline de IA.
• Teorema 2: Sob a graduação por excedente de Pareto, submissões nativas de IA recebem exatamente a nota base, e qualquer nota acima da base certifica a melhoria medida.
• Teorema 3: A graduação com limiar separa o excedente do orçamento privado de IA e do ruído do avaliador. Se a fronteira for $\epsilon$-saturada contra um envelope de IA privada declarado, submissões de apenas IA dentro desse envelope não recebem excedente de nota acima da base.
• Resultado de Fronteira Nula: O artigo observa que, se nenhum estudante produzir excedente positivo, isso é um sinal diagnóstico de que a tarefa ou o avaliador falhou em capturar uma habilidade resiliente à IA, exigindo uma revisão da atribuição.

Significância e Posicionamento
O artigo posiciona-se como um movimento da "especulação e ansiedade" para "objetos concretos que podem ser inspecionados e debatidos". Sua significância reside em redefinir a avaliação resiliente à IA não como um problema de detecção, mas como um problema de design de definição de objetivos explícitos e fronteiras mensuráveis.

• Argumenta que, uma vez que os objetivos são explícitos, a avaliação resiliente à IA torna-se um protocolo de certificado relativo à melhoria comportamental.
• Alega que esta abordagem permite que os professores mudem seu papel de construir artefatos manualmente para especificar objetivos, validar avaliadores e definir o que constitui o "movimento da fronteira".
• O autor reconhece limitações: o framework depende da capacidade de definir tarefas executáveis e avaliadores multidimensionais, o que pode não se aplicar a todos os objetivos educacionais (ex: raciocínio ético ou comunicação). Também admite que a "neutralidade de orçamento" é um objetivo de design para ser testado via red-teaming, não uma garantia metafísica.
• O objetivo final é fornecer um framework para crítica e refinamento antes da implementação planejada para o outono de 2026 na Universidade Rice, convidando a comunidade para testar a robustez dos baselines, políticas de feedback e limiares.