Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

Sintesi Tecnica: Verso una Valutazione Resiliente all'IA nei Corsi di Informatica in un Mondo Nativo AI

Definizione del Problema
Il documento affronta il cambiamento fondamentale nell'educazione informatica causato dall'IA generativa, dove gli studenti possono produrre codice, dimostrazioni e report indistinguibili dal lavoro umano. L'autore sostiene che l'attuale focus istituzionale sulla proibizione, il rilevamento e la sorveglianza fallisce nel rispondere alla domanda educativa centrale: Quale competenza permette a uno studente di raggiungere risultati superiori rispetto a una persona che ha semplicemente accesso all'IA? Il documento postula che, per i corsi di livello avanzato, l'IA debba essere trattata come un collaboratore di base piuttosto che come uno strumento proibito. La sfida consiste nel progettare valutazioni che misurino "competenze resilienti all'IA" — ovvero la capacità di dirigere l'IA per ottenere compromessi (tradeoffs) non già forniti dalla baseline dell'IA stessa — senza fare affidamento sul rilevamento dell'autorialità o presumere che gli studenti non utilizzeranno l'IA.

Metodologia: Un Framework Formale per la Valutazione Resiliente all'IA
Il documento propone un framework formale minimo in cui la valutazione è definita dal comportamento eseguibile piuttosto che dall'autorialità. La metodologia centrale si basa su quattro oggetti: un compito reale, un valutatore eseguibile, una frontiera di Pareto nativa AI dichiarata e una regola di valutazione basata sul surplus di Pareto.

1. Compito Reale e Valutatore: Un compito è definito non solo da un prompt, ma da una tupla che include uno spazio di sottomissione, un protocollo di benchmark (sviluppo pubblico ed valutazione nascosta), vincoli di correttezza rigidi e un valutatore eseguibile totale ($E_T$) che mappa le sottomissioni a un vettore di punteggi ($R^d$).
2. Frontiera di Pareto Nativa AI: Prima della valutazione, viene generata una "baseline nativa AI dichiarata" utilizzando un protocollo di agenti AI riproducibile (inclusi modelli specifici, prompt, budget e regole di selezione). I punteggi di queste sottomissioni generate dall'IA formano un insieme $S_{AI}$. La frontiera di Pareto nativa AI ($F_{AI}$) è l'insieme dei vettori di punteggio non dominati all'interno di questo insieme. Questa frontiera rappresenta i migliori compromessi noti ottenibili dalla baseline IA dichiarata.
3. Surplus di Pareto: Una sottomissione dello studente $\pi$ viene valutata tramite il suo surplus di Pareto ($\delta_T(\pi)$), calcolato come l'incremento dell'ipervolume dominato (rispetto a un punto di riferimento $r$) quando $\pi$ viene aggiunto alla frontiera.
   • Se $\delta_T(\pi) = 0$, la sottomissione è dominata dalla baseline dell'IA e non offre nuovi compromessi.
   • Se $\delta_T(\pi) > 0$, la sottomissione raggiunge un compromesso misurato non coperto dalla baseline dell'IA.
4. Regola di Valutazione: I voti sono assegnati in base al surplus di Pareto. Una sottomissione nativa AI riceve un voto base ($g_{AI}$). Qualsiasi voto superiore a $g_{AI}$ richiede un surplus di Pareto positivo.
5. Estensioni per l'Equità: Per evitare che il budget privato di IA (ad esempio, l'accesso a modelli più potenti o a maggiore computazione) diventi l'unico determinante dei voti, il framework introduce:
   • Feedback Mediato dal Server: Un oracolo di feedback che rilascia solo informazioni aggregate e grossolane (ad esempio, pass/fail, classi di punteggio) piuttosto che input nascosti o errori per singola istanza, impedendo agli studenti di adattarsi eccessivamente (overfitting) ai benchmark nascosti tramite loop privati di IA.
   • Valutazione a Soglia: Una soglia $\eta_T$ viene impostata in base ai risultati del red-teaming ($\epsilon_{red}^{bud}$) e al rumore del valutatore ($\epsilon_{eval}$). Solo il surplus che supera questa soglia ($\delta > \eta_T$) viene premiato, creando un "margine di neutralità del budget" in cui i miglioramenti derivanti solo da IA privata entro l'involucro dichiarato non producono un surplus che influenzi il voto.
   • Red-Teaming delle Competenze di Prompting: Il framework distingue tra "delegazione generica" (che dovrebbe far parte della baseline) e "razionali di miglioramento della frontiera" (dove lo studente identifica un collo di bottiglia specifico e ipotizza una soluzione). Quest'ultimo è considerato prova di competenza.

Istanziazione Concreta: Assignment sul Filtro di Bloom
Il framework è istanziato come un compito per il corso COMP 480/580 presso la Rice University, centrato sulle strutture di appartenenza approssimativa (Filtri di Bloom).

• Due Regimi: L'assignment utilizza due scale: scala MB (megabyte) focalizzata sulla regolazione dei parametri e sull'overhead di hashing basso, e scala GB (gigabyte) focalizzata sulla larghezza di banda della memoria, la località della cache, il parallelismo e la vettorizzazione.
• Valutazione: Gli studenti devono implementare sistemi che soddisfino vincoli di correttezza rigidi (nessun falso negativo) pur ottimizzando un vettore di obiettivi (ad esempio, rapporto di compressione, tasso di falsi positivi, throughput di costruzione/query).
• Processo: Gli studenti ricevono una frontiera nativa AI congelata per entrambi i regimi. Possono usare l'IA liberamente, ma sono limitati a un budget fisso di feedback dal server. Per ottenere un voto superiore alla baseline, devono produrre un sistema che espanda l'ipervolume oltre la frontiera di più del valore della soglia calcolata.

Contributi Chiave

1. Modello Formale: Un modello matematico minimale in cui l'espansione della frontiera di Pareto funge da certificato di prestazione a livello di artefatto oltre una baseline di IA.
2. Garanzia Teorica: Una prova che la valutazione tramite surplus di Pareto è resiliente all'IA rispetto alla frontiera dichiarata; le sottomissioni native AI ricevono solo il voto base, e qualsiasi voto superiore alla baseline certifica un miglioramento misurato.
3. Estensioni del Protocollo: Un framework per gestire i loop di auto-miglioramento dell'IA, la neutralità del budget (tramite soglie), il feedback mediato dal server e la distinzione tra competenza produttiva dell'IA e risorse private diseguali.
4. Automazione e Incentivi: Una spiegazione di come la valutazione del surplus eseguibile automatizzi la valutazione e alteri gli incentivi contro la collusione (rivelare una soluzione che sposta la frontiera riduce il voto relativo dello svelatore in un sistema calibrato per percentile).
5. Design Concreto: Un design specifico per un assignment sui filtri di Bloom destinato alla distribuzione nell'autunno 2026.

Risultati e Rivendicazioni
Il documento non riporta risultati empirici da implementazioni con studenti, poiché il framework è proposto per una futura implementazione. Inve로, presenta garanzie di design e teoremi logici:

• Teorema 1: Il surplus di Pareto è un certificato misurabile di espansione della frontiera; un surplus positivo implica che l'artefatto non è dominato dalla baseline dell'IA.
• Teoreio 2: Sotto la valutazione del surplus di Pareto, le sottomissioni native AI ricevono esattamente il voto base, e qualsiasi voto superiore al base certifica un miglioramento misurato.
• Teorema 3: La valutazione a soglia separa il surplus dal budget privato di IA e dal rumore del valutatore. Se la frontiera è $\epsilon$-satura rispetto a un involucro privato di IA dichiarato, le sottomissioni basate solo su IA entro quell'involucro non ricevono alcun surplus di voto sopra la baseline.
• Esito di Frontiera Nulla: Il documento nota che se nessun studente produce un surplus positivo, ciò è un segnale diagnostico che il compito o il valutatore non è riuscito a catturare una competenza resiliente all'IA, richiedendo una revisione dell'assignment.

Significatività e Posizionamento
Il documento si posiziona come un passaggio dalla "speculazione e ansia" a "oggetti concreti che possono essere ispezionati e discussi". La sua significatività risiede nel riformulare la valutazione resiliente all'IA non come un problema di rilevamento, ma come un problema di design per definire obiettivi espliciti e frontiere misurabili.

• Sostiene che una volta resi espliciti gli obiettivi, la valutazione resiliente all'IA diventa un protocollo relativo di certificazione del miglioramento comportamentale.
• Afferma che questo approccio consente ai docenti di passare dalla costruzione manuale di artefatti alla specifica di obiettivi, alla validazione dei valutatori e alla definizione di cosa costituisca il "movimento della frontiera".
• L'autore riconosce le limitazioni: il framework dipende dalla capacità di definire compiti eseguibili e valutatori multidimensionali, il che potrebbe non applicarsi a tutti gli obiettivi educativi (ad esempio, il ragionamento etico o la comunicazione). Ammette inoltre che la "neutralità del budget" è un obiettivo di design da sottoporre a red-teaming, non una garanzia metafisica.
• L'obiettivo finale è fornire un framework per la critica e il raffinamento prima della pianificata implementazione dell'autunno 2026 presso la Rice University, invitando la comunità a testare la robustezza delle baseline, delle politiche di feedback e delle soglie.