Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

기술 요약: AI 네이티브 세상에서의 컴퓨터 과학 교육을 위한 AI 회복력 있는 평가를 향하여

문제 제기
본 논문은 생성형 AI로 인해 발생하는 컴퓨터 과학 교육의 근본적인 변화, 즉 학생이 인간의 작업과 구별할 수 없는 수준의 코드, 증명, 보고서를 생성할 수 있게 된 상황을 다룹니다. 저자는 현재 기관들이 집중하고 있는 금지, 탐지, 감독 방식이 핵심적인 교육적 질문을 해결하는 데 실패하고 있다고 주장합니다. 즉, *“단순히 AI에 접근할 수 있는 사람을 넘어, 어떤 기술이 학생으로 하여금 AI가 제공하는 결과 그 이상의 성취를 달성하게 하는가?”*라는 질문입니다. 본 논문은 시니어 레벨(고학년) 과정에서 AI를 금지된 도구가 아닌, 기본 협업자(baseline collaborator)로 취급해야 한다고 상정합니다. 과제는 AI가 이미 제공하고 있는 베이스라인 이상의 트레이드오프(tradeoffs)를 달ante하기 위해 AI를 지시하는 능력, 즉 'AI 회복력 있는 기술(AI-resilient skills)'을 평가하도록 설계되어야 하며, 이는 저작권 탐지에 의존하거나 학생들이 AI를 사용하지 않을 것이라고 가정하지 않는 방식이어야 합니다.

방법론: AI 회복력 있는 성적 산출을 위한 공식 프레임워크
본 논문은 평가가 저작권(authorship)이 아닌 실행 가능한 동작(executable behavior)에 의해 정의되는 최소한의 공식 프레임워크를 제안합니다. 핵심 방법론은 실제 과업, 실행 가능한 평가기, 선언된 AI 네이티브 파레토 프런티어(Pareto frontier), 그리고 파레토 잉여(Pareto surplus)에 기반한 채점 규칙이라는 네 가지 객체에 의존합니다.

1. 실제 과업 및 평가기: 과업은 단순히 프롬프트로 정의되는 것이 아니라, 제출 공간(submission space), 벤치마크 프로토콜(공개 개발 및 숨겨진 평가), 엄격한 정답 제약 조건, 그리고 제출물을 점수 벡터($R^d$)로 매핑하는 전체 실행 가능 평가기($E_T$)를 포함하는 튜플(tuple)로 정의됩니다.
2. AI 네이티브 파레토 프런티어: 성적을 매기기 전, 재현 가능한 AI 에이전트 프로토콜(특정 모델, 프롬프트, 예산, 선택 규칙 포함)을 사용하여 "선언된 AI 네이티브 베이스라인"을 생성합니다. AI가 생성한 제출물들의 점수는 집합 $S_{AI}$를 형성합니다. AI 네이티브 파레토 프런티어($F_{AI}$)는 이 집합 내에서 지배되지 않는(nondominated) 점수 벡터들의 집합입니다. 이 프런티어는 선언된 AI 베이스라인에 의해 달성 가능한 최선의 알려진 트레이드오프를 나타냅니다.
3. 파레토 잉여: 학생의 제출물 $\pi$는 참조점 $r$에 대한 지배된 초부피(dominated hypervolume)의 증가량인 파레토 잉여($\delta_T(\pi)$)로 평가됩니다.
   • 만약 $\delta_T(\pi) = 0$이라면, 해당 제출물은 AI 베이스라인에 의해 지배되며 새로운 트레이드오프를 제공하지 못합니다.
   • 만약 $\delta_T(\pi) > 0$이라면, 해당 제출물은 AI 베이스라인이 커버하지 못하는 측정된 트레이드오프를 달성했음을 의미합니다.
4. 채점 규칙: 성적은 파레토 잉여를 기준으로 부여됩니다. AI 네이티브 제출물은 기본 성적($g_{AI}$)을 받습니다. 기본 성적 이상의 성적을 받기 위해서는 반드시 양(+)의 파레토 잉여가 필요합니다.
5. 공정성을 위한 확장: 개인의 AI 예산(예: 더 강력한 모델이나 더 많은 컴퓨팅 자원에 대한 접근 권한)이 성적을 결정하는 유일한 요인이 되는 것을 방지하기 위해, 프레임워크는 다음을 도입합니다.
   • 서버 매개 피드백(Server-Mediated Feedback): 숨겨진 입력값이나 개별 인스턴스 오류가 아닌, 집계된 조립적 정보(예: 합격/불합격, 점수 구간)만을 공개하는 피드백 오라클을 통해, 학생들이 개인적인 AI 루프를 통해 숨겨진 벤치마크에 과적합(overfitting)하는 것을 방지합니다.
   • 임계값 기반 채점(Thresholded Grading): 레드팀 테스트 결과($\epsilon_{red}^{bud}$)와 평가기 노이즈($\epsilon_{eval}$)를 바탕으로 임계값 $\eta_T$를 설정합니다. 선언된 엔벨로프(envelope) 내에서 AI만으로 개선된 결과가 성적을 받는 잉여를 창출하지 못하도록, 임계값 $\eta_T$를 초과하는 잉여($\delta > \eta_T$)만이 보상받도록 하는 "예산 중립적 마진(budget-neutrality margin)"을 생성합니다.
   • 프롬프트 기술 레드팀 테스트(Prompt-Skill Red-Teaming): 프레임워크는 "일반적 위임(generic delegation)"(베이스라인의 일부로 간주되어야 함)과 "프런티어 개선 근거(frontier-improvement rationales)"(학생이 특정 병목 현상을 식별하고 해결책을 가설화하는 것)를 구분합니다. 후자가 실력의 증거로 간주됩니다.

구체적 사례 구현: 블룸 필터(Bloom Filter) 과제
본 프레임워크는 라이스 대학교(Rice University)의 COMP 480/580을 위한 시니어 레벨 과제로 구현되었으며, **근사 멤버십 구조(Bloom filters)**를 중심으로 합니다.

• 두 가지 체제: 과제는 두 가지 규모를 사용합니다. 파라미터 튜닝과 낮은 오버헤드 해싱에 집중하는 MB 규모(메가바이트)와 메모리 대역폭, 캐시 지역성, 병렬성 및 벡터화에 집중하는 GB 규모(기가바이트)입니다.
• 평가: 학생들은 엄격한 정답 제약 조건(거짓 음성 없음)을 만족하면서 동시에 벡터화된 목적 함수(예: 압축률, 거짓 양성률, 빌드/쿼리 처리량)를 최적화하는 시스템을 구현해야 합니다.
• 프로세스: 학생들은 고정된 AI 네이티브 프런티어를 제공받습니다. AI를 자유롭게 사용할 수 있으나, 고정된 서버 피드백 예산 내로 제한됩니다. 기본 성적 이상의 성적을 받으려면, 계산된 임계값을 초과하여 프런티어의 초부피를 확장하는 시스템을 만들어내야 합니다.

주요 기여

1. 공식 모델: 파레토 프런티어 확장이 AI 베이스라인을 넘어서는 성능의 아티팩트 수준 인증서(artifact-level certificate) 역할을 하는 최소한의 수학적 모델을 제시합니다.
2. 이론적 보장: 파레토 잉여 채점이 선언된 프런티어에 대해 AI 회복력이 있음을 입증하며, AI 네이티브 제출물은 기본 성적만을 받고, 기본 성적 이상의 성적은 반드시 측정된 개선을 입증해야 함을 보여줍니다.
3. 프로토콜 확장: 자기 개선형 AI 루프, 예산 중립성(임계값 설정을 통해), 서버 매개 피드백, 그리고 생산적인 AI 역량과 불평등한 개인 자원 사이의 구분을 처리하는 프레임워크를 제공합니다.
4. 자동화 및 인센티브: 실행 가능한 잉여 채점이 어떻게 평가를 자동화하고, 담합(예: 프런티어를 이동시키는 솔루션을 유출하는 행위가 백분위 조정 시스템에서 유출자의 상대적 성적을 낮춤)에 대한 인센티브를 변화시키는지 설명합니다.
5. 구체적 설계: 2026년 가을 학기 배포를 목표로 설계된 구체적인 블룸 필터 과제 설계를 제시합니다.

결과 및 주장
본 논문은 실제 학생 배포에 대한 경험적 결과를 보고하지 않습니다. 대신, 프레임워크가 제안된 단계이므로 **설계 보장(design guarantees)**과 **논리적 정리(logical theorems)**를 제시합니다.

• 정리 1: 파레토 잉여는 프런티어 확장의 측정 가능한 인증서이며, 양(+)의 잉여는 해당 아티팩트가 AI 베이스라인에 의해 지배되지 않음을 의미합니다.
• 정리 2: 파레토 잉여 채점 하에서, AI 네이티브 제출물은 정확히 기본 성적을 받으며, 기본 성적 이상의 모든 성적은 측정된 개선을 인증합니다.
• 정리 3: 임계값 기반 채점 방식은 개인의 AI 예산과 평가기 노이즈를 분리합니다. 만약 프런티어가 선언된 개인 AI 엔벨로프에 대해 $\epsilon$-포화(saturated) 상태라면, 해당 엔벨로프 내의 AI 전용 제출물은 기본 성적 이상의 잉여를 얻지 못합니다.
• 널-프런티어(Null-Frontier) 결과: 논문은 만약 어떤 학생도 양의 잉여를 만들어내지 못한다면, 이는 과제나 평가기가 AI 회복력 있는 기술을 포착하는 데 실패했다는 진단 신호이며, 과제를 수정해야 함을 의미한다고 언급합니다.

의의 및 위치
본 논문은 "추측과 불안"에서 벗어나 "검사하고 토론할 수 있는 구체적인 대상"으로 나아가는 움직임을 표방합니다. 본 논문의 의의는 AI 회복력 있는 평가를 탐지의 문제가 아니라, 명시적인 목표와 측정 가능한 프런티어를 정의하는 설계의 문제로 재정의했다는 데 있습니다.

• 목표가 명시되면, AI 회복력 있는 평가는 프로토콜 상대적인 행동 개선의 인증서가 될 수 있다고 주장합니다.
• 이 접근법을 통해 교수진의 역할이 수동적으로 아티팩트를 만드는 것에서 목표를 지정하고, 평가기를 검증하며, 무엇이 '프런티어 이동'을 구성하는지 정의하는 것으로 전환될 수 있다고 주장합니다.
• 저자는 한계점 또한 인정합니다: 이 프레임워크는 실행 가능한 과업과 다차원 평가기를 정의할 수 있는 능력에 의존하므로, 윤리적 추론이나 의사소통과 같은 모든 교육적 목표에 적용되기는 어렵습니다. 또한 '예산 중립성'은 메타피지컬한(metaphysical) 보장이 아니라 레드팀 테스트를 거쳐야 할 설계 목표임을 밝힙니다.
• 궁극적인 목표는 2026년 가을 라이스 대학교 배포 전, 프레임워크에 대한 비판과 개선을 유도하기 위해 베이스라인, 피드백 정책, 임계값의 견고성을 테스트하도록 공동체에 초대하는 것입니다.