💻 computer science

Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

Cet article propose un cadre formel pour une évaluation résiliente à l'IA en informatique qui évalue les étudiants sur leur « surplus de Pareto » — l'amélioration mesurable de la performance qu'ils parviennent à réaliser au-delà d'une base de référence IA déclarée — tout en autorisant un usage sans restriction de l'IA et en exigeant des protocoles supplémentaires pour vérifier les compétences réelles.

Auteurs originaux : Anshumali Shrivastava

Publié 2026-07-01

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anshumali Shrivastava

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Pourquoi changer les règles du jeu ?

Imaginez que vous êtes un professeur donnant un examen de mathématiques. Par le passé, vous demandiez aux élèves de faire des divisions longues à la main. Aujourd'hui, chaque élève a une super-calculatrice dans sa poche capable de faire le calcul instantanément.

Si vous leur demandez encore de faire des divisions à la main, vous ne testez plus leurs compétences en mathématiques ; vous testez simplement qui est le meilleur pour cacher sa calculatrice. Si vous interdisez les calculatrices, vous menez une bataille perdue d'avance car la technologie est trop performante.

L'idée de l'auteur : Au lieu d'interdire la calculatrice (ou dans ce cas, l'IA), nous devrions changer l'examen. Le nouvel examen ne devrait pas demander : « Peux-tu faire le calcul ? » Il devrait demander : « Peux-tu utiliser la calculatrice pour résoudre un problème que la calculatrice ne pourrait pas résoudre seule ? »

Cet article propose une nouvelle façon de noter les étudiants en informatique dans un monde « natif de l'IA ». L'objectif est de cesser de s'inquiéter de la triche pour commencer à mesurer la compétence.

Le concept central : La « Frontière » et le « Surplus »

Pour comprendre la solution de l'auteur, imaginez un jeu vidéo avec un classement des meilleurs scores.

1. La base de référence de l'IA (Le tableau de bord « Standard Or »)

Avant même que les étudiants ne commencent, l'enseignant utilise l'IA la plus puissante disponible pour résoudre le devoir. L'IA essaie des milliers de fois, en ajustant son code, jusqu'à trouver les meilleures solutions possibles qu'elle peut générer.

La métaphore : Cela crée un tableau de bord « Standard Or ». Disons que l'IA peut construire un entrepôt numérique qui est rempli à 90 %, traite les articles 100 fois par seconde et coûte 10 $ à faire fonctionner.
La règle : Tout étudiant qui se contente de copier la réponse de l'IA obtient un « B » (ou une note de base). Il n'a rien appris de nouveau ; il a simplement égalé la machine.

2. La frontière de Pareto (L'« Edge of the Map »)

En informatique, vous devez souvent faire des compromis. Vous pouvez rendre un système plus rapide, mais cela peut coûter plus cher. Vous pouvez le rendre moins coûteux, mais il pourrait être plus lent.

La métaphore : Imaginez une carte où la « Frontière » est le bord du monde exploré. L'IA a exploré aussi loin qu'elle le pouvait. Elle a trouvé le meilleur équilibre possible entre vitesse, coût et précision.
L'objectif : Le travail de l'étudiant est de trouver un point au-delà de cette limite.

3. Le surplus de Pareto (Le « Nouveau Territoire »)

C'est la partie la plus importante. Un étudiant ne reçoit des points bonus (une meilleure note) que si sa solution fait quelque chose que l'IA ne pouvait pas faire.

La métaphore : Si l'IA a trouvé un chemin de 10 miles de long, et que l'étudiant trouve un chemin de 9 miles de long, l'étudiant a découvert un « Surplus ». Il a étendu la carte.
Le piège : Si la solution de l'étudiant est tout aussi bonne que celle de l'IA, il obtient la note de base. Si elle est moins bonne, il échoue. Si elle est meilleure (d'une manière qui dépasse les limites actuelles de l'IA), il obtient la note de « Surplus ».

Pourquoi est-ce « résilient à l'IA » ?
Parce qu'il n'importe pas que l'étudiant ait utilisé l'IA pour écrire le code. Si l'IA pouvait écrire ce code, l'étudiant obtient la note de base. Pour obtenir un « A », l'étudiant doit utiliser son jugement humain pour guider l'IA vers une solution que l'IA n'aurait pas pu trouver d'elle-même.

Comment le système fonctionne (Le professeur « Boîte Noire »)

L'article suggère une façon très spécifique de gérer le cours pour que ce soit équitable :

L'examen caché : L'enseignant crée un évaluateur « Boîte Noire ». Les étudiants ne voient pas les données finales du test. Ils ne voient qu'un résumé (ex : « Votre système est 5 % trop lent »).
La limite de budget : L'enseignant fixe une limite sur la quantité d'« aide de l'IA » autorisée dans la boucle de rétroaction officielle. Cela empêît les étudiants d'acheter simplement un abonnement d'IA plus coûteux pour forcer la réponse par force brute.
La vérification de la « Red Team » : Avant que le cours ne commence, l'enseignant essaie de « casser » le test. Il se demande : « Est-ce qu'une IA stupide peut juste deviner la réponse ? » Si la réponse est oui, l'enseignant modifie le test jusqu'à ce que la réponse soit non.

L'exemple concret : La course au « Filtre de Bloom »

L'article donne un exemple réel de ce à quoi cela ressemble dans un cours appelé « COMP 480/580 » à l'Université Rice.

La tâche : Construire un « Filtre de Bloom ». Considérez cela comme un videur numérique ultra-efficace pour un club de nuit. Il vérifie si un nom est sur la liste des invités. Il est autorisé à faire une petite erreur (dire « Oui » à quelqu'un qui n'est pas là), mais il ne peut jamais dire « Non » à quelqu'un qui est là.
Le défi : L'enseignant donne deux versions du club :
- Petit Club (Échelle MB) : Un petit videur pour un café.
- Méga Club (Échelle GB) : Un immense videur pour un stade.
La base de référence de l'IA : L'enseignant fait tourner une IA pour construire les meilleurs videurs pour les deux clubs.
Le travail de l'étudiant : L'étudiant doit utiliser ses connaissances en systèmes informatiques (comment la mémoire fonctionne, comment organiser les données) pour construire un videur plus rapide ou moins coûteux que la version de l'IA.
- Peut-être que l'IA a construit un videur rapide qui utilise trop de mémoire.
- Peut-être que l'étudiant trouve un moyen d'organiser les données pour qu'elles rentrent dans la « mémoire cache » de l'ordinateur (comme une poche), rendant le tout 10 fois plus rapide.
La note : Si le videur de l'étudiant est meilleur que celui de l'IA, il obtient la note de « Surplus ». S'il se contente de copier l'IA, il obtient la note de base.

Pourquoi c'est une grande avancée

Cela arrête la course aux armements du « Copier-Coller » : Les enseignants n'ont pas besoin de passer tout leur temps à essayer de attraper les étudiants utilisant l'IA. Le système de notation ignore automatiquement le code généré par l'IA, à moins qu'il ne soit réellement meilleur que la meilleure tentative de l'IA.
Cela récompense le jugement humain : Le système valorise la capacité humaine à demander : « Pourquoi l'IA est-elle lente ici ? » et « Comment puis-je réparer cela ? ». C'est la compétence qui sera précieuse dans le futur.
C'est équitable : Cela nivelle le terrain de jeu. Peu importe qu'un étudiant ait un abonnement d'IA à 20 $/mois et qu'un autre ait une version gratuite. Le « Surplus » est mesuré par rapport à une base de référence d'IA fixe et gelée. Si l'IA gratuite ne peut pas battre la base de référence, l'IA coûteuse ne recevra pas non plus de points supplémentaires.

L'essentiel

L'auteur soutient que nous devrions cesser de demander : « As-tu utilisé l'IA ? » et commencer à demander : « As-tu utilisé l'IA pour aller plus loin que l'IA ne pouvait aller seule ? »

Si un étudiant peut prendre un outil d'IA et le pousser à faire quelque chose de nouveau, c'est la définition même d'un informaticien qualifié dans le futur. Cet article fournit un plan mathématique et pratique pour évaluer précisément cette compétence.

Résumé technique : Vers une évaluation résiliente à l'IA dans les cours d'informatique dans un monde natif de l'IA

Énoncé du problème
Le document traite du changement fondamental dans l'enseignement de l'informatique causé par l'IA générative, où les étudiants peuvent produire du code, des preuves et des rapports indiscernables du travail humain. L'auteur soutient que l'accent institutionnel actuel sur la prohibition, la détection et la surveillance ne parvient pas à répondre à la question éducative fondamentale : Quelle compétence permet à un étudiant d'atteindre des résultats au-delà d'une personne ayant simplement accès à l'IA ? Le document postule que pour les cours de niveau supérieur, l'IA doit être traitée comme un collaborateur de base plutôt que comme un outil interdit. Le défi consiste à concevoir des évaluations qui notent des « compétences résilientes à l'IA » — la capacité à diriger l'IA pour atteindre des compromis (tradeoffs) qui ne sont pas déjà fournis par la base de référence de l'IA elle-même — sans dépendre de la détection de l'auteur ou de l'hypothèse que les étudiants n'utiliseront pas l'IA.

Méthodologie : Un cadre formel pour une notation résiliente à l'IA
Le document propose un cadre formel minimal où l'évaluation est définie par un comportement exécutable plutôt que par l'auctorialité. La méthodologie centrale repose sur quatre objets : une tâche réelle, un évaluateur exécutable, une frontière de Pareto native de l'IA déclarée, et une règle de notation basée sur le surplus de Pareto.

Tâche réelle et évaluateur : Une tâche est définie non seulement par un prompt, mais par un tuple incluant un espace de soumission, un protocole de benchmark (développement public et évaluation cachée), des contraintes de correction strictes, et un évaluateur exécutable total ( $E_T$ ) qui mappe les soumissions vers un vecteur de scores ( $R^d$ ).
Frontière de Pareto native de l'IA : Avant la notation, une « base de référence native de l'IA déclarée » est générée à l'aide d'un protocole d'agent IA reproductible (incluant des modèles spécifiques, des prompts, des budgets et des règles de sélection). Les scores de ces soumissions générées par l'IA forment un ensemble $S_{AI}$ . La frontière de Pareto native de l'IA ( $F_{AI}$ ) est l'ensemble des vecteurs de scores non dominés au sein de cet ensemble. Cette frontière représente les meilleurs compromis connus réalisables par la base de référence de l'IA déclarée.
Surplus de Pareto : Une soumission d'étudiant $\pi$ $π$ est évaluée par son surplus de Pareto ( $\delta_T(\pi)$ $δ_{T} (π)$ ), calculé comme l'augmentation du volume hyperbolaire dominé (par rapport à un point de référence $r$ $r$ ) lorsque $\pi$ $π$ est ajouté à la frontière.
- Si $\delta_T(\pi) = 0$ , la soumission est dominée par la base de référence de l'IA et n'offre aucun nouveau compromis.
- Si $\delta_T(\pi) > 0$ , la soumission atteint un compromis mesuré non couvert par la base de référence de l'IA.
Règle de notation : Les notes sont attribuées sur la base du surplus de Pareto. Une soumission native de l'IA reçoit une note de base ( $g_{AI}$ ). Toute note supérieure à $g_{AI}$ nécessite un surplus de Pareto positif.
Extensions pour l'équité : Pour empêcher que le budget d'IA privé (ex: accès à des modèles plus puissants ou plus de calcul) ne devienne le seul déterminant des notes, le cadre introduit :
- Feedback médiatisé par le serveur : Un oracle de feedback qui ne publie que des informations agrégées et grossières (ex: réussite/échec, tranches de scores) plutôt que des entrées cachées ou des erreurs par instance, empêissant les étudiants de sur-apprendre (overfitting) les benchmarks cachés via des boucles d'IA privées.
- Notation par seuil : Un seuil $\eta_T$ est fixé sur la base des résultats de red-teaming ( $\epsilon_{red}^{bud}$ ) et du bruit de l'évaluateur ( $\epsilon_{eval}$ ). Seul le surplus dépassant ce seuil ( $\delta > \eta_T$ ) est récompensé, créant une « marge de neutralité budgétaire » où les améliorations issues d'une IA privée au sein de l'enveloppe déclarée ne produisent pas de surplus générant une note.
- Red-teaming des compétences de prompt : Le cadre distingue la « délégation générique » (qui devrait faire partie de la base de référence) des « rationales d'amélioration de la frontière » (où l'étudiant identifie un goulot d'étranglement spécifique et émet une hypothèse de correction). Ces dernières sont considérées comme une preuve de compétence.

Instanciation concrète : Devoir sur les filtres de Bloom
Le cadre est instancié comme un devoir de niveau senior pour COMP 480/580 à l'Université Rice, centré sur les structures d'appartenance approximative (filtres de Bloom).

Deux régimes : Le devoir utilise deux échelles : l'échelle MB (mégaoctets) se concentrant sur le réglage des paramètres et le faible overhead de hachage, et l'échelle GB (gigaoctets) se concentrant sur la bande passante mémoire, la localité du cache, le parallélisme et la vectorisation.
Évaluation : Les étudiants doivent implémenter des systèmes qui satisfont des contraintes de correction strictes (aucens de faux négatifs) tout en optimisant un vecteur d'objectifs (ex: taux de compression, taux de faux positifs, débit de construction/requête).
Processus : Les étudiants reçoivent une frontière native de l'IA gelée pour les deux échelles. Ils peuvent utiliser l'IA librement mais sont restreints à un budget de feedback serveur fixe. Pour obtenir une note supérieure à la base, ils doivent produire un système qui étend le volume hyperbolaire au-delà de la frontière par une valeur supérieure au seuil calculé.

Contributions clés

Modèle formel : Un modèle mathématique minimal où l'expansion de la frontière de Pareto sert de certificat de performance au-delà d'une base de référence de l'IA.
Garantie théorique : Une preuve que la notation par surplus de Pareto est résiliente à l'IA par rapport à la frontière déclarée ; les soumissions natives de l'IA reçoivent uniquement la note de base, et toute note supérieure à la base certifie une amélioration mesurée.
Extensions de protocole : Un cadre pour gérer les boucles d'IA auto-améliorées, la neutralité budgétaire (via le seuillage), le feedback médiatisé par le serveur et la distinction entre la compétence productive de l'IA et les ressources privées inégales.
Automatisation et incitations : Une explication de la façon dont la notation par surplus exécutable automatise l'évaluation et modifie les incitations contre la collusion (fuiter une solution qui déplace la frontière réduit la note relative de celui qui a fait fuiter dans un système calibré par centile).
Conception concrète : Une conception spécifique de devoir sur les filtres de Bloom destinée à être déployée à l'automne 2026.

Résultats et affirmations
Le document ne rapporte pas de résultats empiriques issus de déploiements auprès d'étudiants, car le cadre est proposé pour une mise en œuvre future. Il présente plutôt des garanties de conception et des théorèmes logiques :

Théorème 1 : Le surplus de Pareto est un certificat mesurable de l'expansion de la frontière ; un surplus positif implique que l'artefact n'est pas dominé par la base de référence de l'IA.
Théorème 2 : Sous la notation par surplus de Pareto, les soumissions natives de l'IA reçoivent exactement la note de base, et toute note supérieure à la base certifie une amélioration mesurée.
Théorème 3 : La notation par seuil sépare le surplus du budget d'IA privé et du bruit de l'évaluateur. Si la frontière est $\epsilon$ -saturée contre une enveloppe d'IA privée déclarée, les soumissions d'IA uniquement au sein de cette enveloppe ne reçoivent aucun surplus de note au-dessus de la base.
Résultat de frontière nulle : Le document note que si aucun étudiant ne produit de surplus positif, c'est un signal diagnostique indiquant que la tâche ou l'évaluateur n'a pas réussi à capturer une compétence résiliente à l'IA, incitant à une révision du devoir.

Signification et positionnement
Le document se positionne comme un passage de la « spéculation et de l'anxiété » à des « objets concrets qui peuvent être inspectés et débattus ». Sa signification réside dans le recadrage de l'évaluation résiliente à l'IA non pas comme un problème de détection, mais comme un problème de conception définissant des objectifs explicites et des frontières mesurables.

Il soutient qu'une fois les objectifs explicites, l'évaluation résiliente à l'IA devient un certificat de comportement relatif au protocole.
Il affirme que cette approche permet aux professeurs de passer de la construction manuelle d'artefacts à la spécification d'objectifs, la validation d'évaluateurs et la définition de ce qui constitue un « mouvement de frontière ».
L'auteur reconnaît les limites : le cadre repose sur la capacité à définir des tâches exécutables et des évaluateurs multidimensionnels, ce qui peut ne pas s'appliquer à tous les objectifs éducatifs (ex: raisonnement éthique ou communication). Il admet également que la « neutralité budgétaire » est un objectif de conception à tester par red-teaming, et non une garantie métaphysique.
L'objectif ultime est de fournir un cadre pour la critique et le raffinement avant le déploiement prévu à l'automne 2026 à l'Université Rice, invitant la communauté à tester la robustesse des bases de référence, des politiques de feedback et des seuils.