Human-in-the-Loop Control of Objective Drift in LLM-Assisted Computer Science Education

이 논문은 LLM 을 활용한 컴퓨터 과학 교육에서 발생하는 목적 이탈 문제를 해결하기 위해, 시스템 공학 및 제어 이론을 기반으로 계획과 실행을 분리하고 의도적인 드리프트를 도입하는 인간-루프 (HITL) 통제 중심의 교육 커리큘럼을 제안하고 그 효과를 검증하는 이론적·방법론적 기반을 마련합니다.

핵심

🚗 핵심 비유: "자율주행차와 운전자"

지금까지의 AI 코딩 교육은 **"자율주행차 (AI) 에만 믿고 맡겨두는 것"**과 비슷했습니다.
"목적지 (과제) 를 말해주면 알아서 가겠지?"라고 생각했는데, AI 는 가끔은 목적지를 잊어버리고 근처의 편의점으로 가거나, 길에서 멈춰서 엉뚱한 노래를 틀어놓기도 합니다. 이를 논문에서는 **'목표 이탈 (Objective Drift)'**이라고 부릅니다.

이 논문은 AI 가 완벽해지기 전까지, 운전자 (학생) 가 핸들을 꽉 잡고 방향을 잡는 법을 가르쳐야 한다고 주장합니다.

💡 이 논문이 제안하는 3 가지 핵심 아이디어

1. "계획서"를 먼저 작성하세요 (설계도 그리기)

기존 방식은 AI 에게 "이거 만들어줘"라고 바로 요청하는 것이었습니다. 하지만 이 논문은 먼저 '명확한 설계도'를 그려야 한다고 말합니다.

• 비유: 집을 지을 때, 벽돌을 쌓기 전에 "이 집은 3 층이고, 창문은 남향이며, 베란다 크기는 3 평이다"라는 **명확한 규칙 (제약 조건)**을 먼저 정해야 합니다.
• 교육 방법: 학생들은 AI 에게 코드를 짜기 전에, "무엇을 만들지 (목표)", "무엇을 하지 말아야 할지 (규칙)"를 문서로 작성합니다. 이를 통해 AI 가 엉뚱한 방향으로 나가는 것을 미리 막는 것입니다.

2. "고의적인 실수"를 가르침으로 활용하세요 (미끼를 던지다)

가장 흥미로운 부분입니다. 연구진은 AI 에러를 일부러 만들어서 학생들에게 고쳐보게 합니다.

• 비유: 요리 실습 시간에 선생님이 일부러 "소금 대신 설탕을 넣으세요"라고 속여보거나, "불을 너무 세게 켜세요"라고 유도합니다. 그리고 학생이 "아! 이건 잘못됐네!"라고 깨닫고 수정하게 만드는 것입니다.
• 교육 방법: AI 가 코드를 짤 때, 일부러 작은 실수 (예: 인덱스 번호를 1 부터 시작하게 하는 등) 를 넣습니다. 학생들은 미리 작성한 '설계도'와 비교하며 "여기가 잘못됐다!"라고 찾아내고 고쳐야 합니다. 이를 통해 AI 에게 맹목적으로 의존하지 않고, 본인이 개념을 제대로 이해하고 있는지 확인하게 됩니다.

3. "도구"가 바뀌어도 "원리"는 변하지 않는다 (영구적인 운전 기술)

지금의 AI 코딩 도구는 내일 바뀔지 모릅니다. 하지만 "운전하는 법"은 변하지 않습니다.

• 비유: 차가 테슬라에서 포드, 또 미래의 어떤 차종으로 바뀌어도, '안전벨트 착용', '방향지시등 켜기', '목적지 확인하기' 같은 운전 원리는 변하지 않습니다.
• 교육 방법: 이 논문은 특정 AI 도구의 사용법 (프롬프트) 을 가르치는 게 아니라, 어떤 도구를 쓰든 AI 를 통제할 수 있는 '시스템 설계 능력'을 가르치는 것이 더 오래가는 교육이라고 말합니다.

---

📊 이 실험은 어떻게 진행되나요?

연구진은 대학생들을 세 그룹으로 나누어 실험했습니다.

1. A 그룹 (자유방임): AI 에게 "이거 만들어줘"라고 그냥 시킴. (기존 방식)
2. B 그룹 (통제 훈련): AI 에게 시키기 전에 '설계도'와 '규칙'을 먼저 작성하고, AI 가 그 규칙을 지키는지 감시함.
3. C 그룹 (통제 + 고의 실수): B 그룹과 똑같이 하되, AI 가 일부러 실수를 하도록 설정해둠. 학생이 그 실수를 찾아내서 고쳐야 함.

결과 예측:

• B 그룹은 A 그룹보다 더 깔끔하고 정확한 코드를 빨리 만들 것입니다.
• C 그룹은 AI 가 실수했을 때 그것을 찾아내는 '감'이 길러져, 나중에 AI 없이도 개념을 더 잘 이해하게 될 것입니다.

🎯 결론: 왜 이 논문이 중요한가요?

이 논문은 "AI 가 우리를 대신해 일해주면 좋겠다"는 생각에서, "우리가 AI 를 잘 다스려서 더 좋은 일을 시키자"는 생각으로 전환해야 한다고 말합니다.

AI 가 아무리 똑똑해져도, 어디로 가야 할지 (목표) 와 어떻게 가야 할지 (규칙) 를 정하고 감시하는 것은 결국 인간 (학생) 의 역할입니다. 이 논문은 그 '감시와 통제'하는 능력을 가르치는 새로운 교육 과정을 제안하며, 이는 AI 기술이 아무리 변해도 유효한 '영구적인 운전 기술'이 될 것입니다.

한 줄 요약:

"AI 가 길을 잃지 않게 하려면, 학생이 먼저 '지도'를 그리고 '나침반'을 들고 있어야 합니다. 그리고 가끔은 AI 가 길을 잘못 들게 만들어, 학생이 스스로 길을 찾아보게 해야 진짜 실력이 늡니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• **목적 편향 **(Objective Drift) 대규모 언어 모델 (LLM) 이 컴퓨터 과학 교육에 통합되면서, AI 가 생성한 코드가 초기 작업 명세 (Task Specification) 에서 점차 벗어나는 '목적 편향' 현상이 발생하고 있습니다. 이는 작은 오류가 누적되어 국소적으로 타당해 보이는 출력이 전체적인 작업 요구사항과 일치하지 않게 되는 문제입니다.
• 교육적 한계: 기존 교육적 대응은 특정 도구에 국한된 '프롬프트 엔지니어링' 기법에 치중되어 있습니다. AI 플랫폼이 빠르게 진화함에 따라 이러한 도구 중심의 접근법은 내구성이 떨어지고, 학생들에게 일시적인 해결책만 제공할 뿐입니다.
• 핵심 가설: LLM 은 작업 관련 목적 함수를 최적화하지 않으므로, 인간은 시스템 공학 (System Engineering) 원리를 적용하여 AI 를 제어해야 합니다. 즉, 인간 - 루프 (HITL) 제어를 AI 의 자율성으로 가는 과도기적 단계가 아닌, 지속 가능한 교육적 역량으로 재정의해야 합니다.

2. 방법론 (Methodology)

이 연구는 학부생 대상의 컴퓨터 과학 실험실 과정을 기반으로 한 **3 군 **(Three-arm)을 제안합니다.

2.1 이론적 틀: HITL 제어 및 세계 모델

• **세계 모델 **(World Model) LLM 을 이산 상태 마르코프 과정으로 간주하고, 토큰 생성을 '옵션 공간 (Option Space)'의 다음 상태 예측으로 정의합니다.
• 제어 전략: 학생은 '컨트롤러' 역할을 수행하며, 다음 두 가지 아티팩트를 명시적으로 구성하여 AI 의 옵션 공간을 제한합니다.
  1. **목적 명세 **(Objective Specification) 수용 기준 (Acceptance Criteria) 과 제약 조건 정의.
  2. **세계 모델 제약 **(World Model Constraints) 저장소 구조, 허용된 의존성, 아키텍처/알고리즘 제약 등.

2.2 실험 조건 (3 군)

1. **Arm 1 **(비구조화 AI 사용) 기존 워크플로우대로 AI 를 자유롭게 사용. 계획 산출물 수집 없음.
2. **Arm 2 **(HITL 제어 훈련)
   • 계획 단계: AI 코드 생성 전, 목적 명세와 세계 모델 제약 아티팩트를 작성 및 수정.
   • 실행 단계: 작성된 제약 내에서 AI 를 활용하여 코드를 생성하고, 명세 위반 시 제어 실패로 간주하여 수정.
3. **Arm 3 **(HITL 제어 + 의도적 편향 주입) Arm 2 와 동일하되, 실행 단계에서 특정 학습 목표 (예: 인덱싱 오류, 오프 - 바이 - 원 에러 등) 와 관련된 **의도적인 목적 편향 **(Deliberate Objective Drift)을 AI 컨텍스트에 주입합니다. 학생들은 이 오류를 계획 문서와 프로그래밍 원리를 통해 탐지하고 복구해야 합니다.

2.3 연구 질문 (RQ)

• **RQ1 **(AI 지원 코딩 성능) 목적 명세 및 제약 조건에 대한 명시적 훈련이 AI 지원 코딩 성능을 향상시키는가?
• **RQ2 **(개념 학습) 의도적인 편향 주입이 특정 CS 개념 학습을 향상시키는가?

2.4 데이터 및 분석

• 데이터: 계획 산출물, 버전 관리 기록, AI 상호작용 로그, 최종 코드, 전통적 평가 (퀴즈/시험) 결과.
• 통계 분석: 100 점 만점 기준 (SD=10), 군당 10~20 명 규모의 표본을 가정하여 **민감도 분석 **(Sensitivity Power Analysis)을 수행. 군집 효과 (Intraclass Correlation, ICC=0.10) 를 고려한 유효 표본 크기 ($n_{eff}$) 를 계산하여 통계적 검정력 (Power $\ge$ 0.80) 을 평가했습니다.

3. 주요 결과 (Results)

• **통계적 검정력 분석 **(Table 1)
  • 군집 효과 (ICC=0.10) 가 존재할 경우, 80% 의 통계적 검정력을 확보하기 위해서는 **표준편차 (SD) 기준 약 1.05~1.45 배의 큰 효과 크기 **(Effect Size)가 필요합니다.
  • 100 점 만점 척도 (SD=10) 로 환산 시, 약 10.5~14.5 점의 점수 차이가 있어야 유의미한 효과를 탐지할 수 있음을 시사합니다.
  • 이는 평가 기준 (Rubric) 이 이러한 큰 차이를 포착할 수 있을 만큼 정밀해야 함을 의미합니다.
• 예상 효과: 훈련된 학생 (Arm 2, 3) 이 비훈련 학생 (Arm 1) 보다 더 정교한 산출물을 더 빠르게 생성할 것으로 예상되며, Arm 3 은 특정 개념에 대한 이해도가 더 높을 것으로 기대됩니다.

4. 주요 기여 (Key Contributions)

1. 이론적 프레임워크의 전환: AI 교육을 '더 좋은 프롬프트 작성'이 아닌, 시스템 공학 및 제어 이론 기반의 HITL 제어 역량으로 재정의했습니다.
2. 도구 독립적 (Tool-Agnostic) 교육 과정: 특정 LLM 모델이나 인터페이스에 의존하지 않고, '목적 명세'와 '제약 조건'이라는 불변의 아티팩트를 통해 AI 진화에 대응할 수 있는 지속 가능한 커리큘럼을 제안했습니다.
3. 의도적 오류 (Drift) 의 교육적 활용: AI 의 실수를 단순한 장애물이 아닌, **학습을 촉진하기 위한 통제된 교란 **(Controlled Perturbation)으로 활용하는 새로운 교수법을 도입했습니다. 이는 학생들이 오류를 탐지, 진단, 복구하는 메타인지 능력을 기르도록 합니다.
4. 방법론적 명확성: 교육적 효과를 입증하기 위한 민감도 분석을 포함한 엄격한 실험 설계와 데이터 수집 계획을 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 단기 생산성 vs 장기 학습의 균형: AI 를 단순히 코드를 빠르게 생성하는 도구로 사용하는 것이 아니라, 시스템 설계와 제어의 관점에서 접근함으로써 개념적 이해를 심화시킵니다.
• AI 교육 연구의 새로운 방향: 기술의 급변에도 불구하고 유효한 '인간 주도성 (Human Agency)'을 교육의 핵심 기둥으로 삼는 접근법을 제시합니다.
• 미래 과제: 이 제어 추상화 (Control Abstractions) 가 소프트웨어 개발을 넘어 덜 구조화된 개방형 도메인으로 확장 가능한지에 대한 실증적 연구가 필요하며, 편향 주입 라이브러리 개발 및 전이 학습 연구가 향후 과제로 남았습니다.

이 논문은 AI 지원 프로그래밍 교육에서 인간이 단순히 지시자가 아닌, **시스템의 안정성을 유지하는 통제자 **(Controller)로서 필요한 역량을 체계적으로 가르칠 수 있는 이론적, 실증적 기반을 마련했다는 점에서 의의가 큽니다.