BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

기술 요약: BoilerSketch

문제 정의
대규모 입문 컴퓨팅 과정(CS1 및 초기 CS2)은 실습 및 오피스 아워(office hours) 동안 지원 병목 현상에 직면합니다. 학생들은 적시에 개별적인 도움을 필요로 하지만, 특히 재귀 추적(recursion traces), 트리 순회(tree traversals), 포인터 에일리어싱(pointer aliasing), 동적 계획법 테이블(dynamic programming tables)과 관련된 질문들은 텍스트보다는 시각적 다이어그램으로 답변하는 것이 가장 효과적입니다. 기존의 컴퓨팅 교육용 AI 튜터링 도구들은 주로 텍스트 중심이거나 코드 중심입니다. 이들은 연습 문제를 생성하거나, 코드를 설명하거나, 대화를 통해 디버깅을 수행하지만, 정확하고 교육적으로 유용한 시각 자료를 생성하는 능력은 부족합니다. 반대로, 고전적인 프로그램 시각화 시스템은 강력한 시각적 표현을 제공하지만, 대화형이거나 멀티모달 방식이 아니며, 감독된 도움 워크플로우 내에 포함되어 있는 경우가 드뭅니다. 이는 프로그램의 동작을 시각화하는 시스템과 이를 논의하는 시스템 사이에 간극을 만들어내며, 결과적으로 개념적 설명에 명시적으로 제한되고 인간의 감독 하에 위치하는 "다이어그램 우선" AI 지원 도구의 필요성을 제기합니다.

방법론 및 시스템 설계
저자들은 초기 컴퓨팅 지원을 위해 설계된, TA가 감독하는 다이어그램 우선의 GenAI 실습 모델인 BoilerSketch를 제시합니다. 이 시스템은 자율적인 튜터가 아니라, 네 가지 핵심 구성 요소로 이루어진 경계가 설정된 교육적 실습입니다:

1. 듀얼 패널 태블릿 인터페이스: 학생들은 자연어 채팅과 펜 기반의 화이트보드를 모두 지원하는 태블릿을 통해 상호작용합니다. 학생들은 텍스트 질문을 제출하거나, 구조 또는 추적도를 스케치하거나, 손으로 그린 다이어그램 이미지를 업로드할 수 있습니다. 시스템은 반복적이고 양방향적인 시각-텍스트 대화를 지원합니다.
2. 정책으로서의 프롬프트(Prompt-as-Policy) 아키텍처: 시스템은 교육적 경계를 강제하기 위해 두 단계의 프롬프트 전략을 채택합니다.
   • 기본 교육 프롬프트: 모델의 역할을 간결한 조교(TA)로 정의하며, 실행 가능한 코드 생성, 직접적인 디버깅, 강의 관련 불만 제기를 금지합니다. 또한 개념적 해체와 독립적인 문제 해결에 집중할 것을 명령합니다.
   • 시각화 서브프롬프트: 시각적 설명이 필요한 경우에만 호출되며, 이 프롬프트는 모델이 자유 형식의 이미지가 아닌 구조화된 Mermaid 다이어그램 구문을 생성하도록 제한합니다.
3. 구조화된 렌더링 파이프라인: 신뢰성과 검사 가능성을 보장하기 위해, 시스템은 가공되지 않은 이미지를 생성하지 않습니다. 대신, 모델의 응답에서 Mermaid 코드 블록을 추출하고, 이를 검증한 후, 학생에게 표시하기 전에 서버 측에서 렌더링합니다. 이를 통해 출력물이 안정적이고 예측 가능하며, 운영진이 쉽게 검토할 수 있도록 합니다.
4. 인간 참여형(Human-in-the-Loop) 감독: 조교(TA)는 책임 있는 감독자로서 역할을 수행합니다. 그들은 여러 세션을 모니터링하며, 응답에 수정, 심층 탐구 또는 실시간 도움으로의 에스컬레이션(escalation)이 필요한 경우 개입합니다. AI는 "1차 결과물(first-pass artifact)"을 제공하며, TA는 이를 수락, 확장 또는 거부할 수 있습니다.

평가 방법
본 논문은 2025년 봄, 퍼듀 대학교(Purdue University)의 CS251(자료 구조 및 알고리즘) 수업에 참여한 21명의 교육 인력(TA 및 교육 전문가)을 대상으로 실시된 전문가 평가 결과를 보고합니다.

• 절차: 참가자들은 Android 태블릿과 BoilerSketch를 사용하여 45분간의 실습 세션에 참여했습니다. 이들은 대표적인 개념적 프롬프트(예: 재귀 추적, 그래프 순회)와 직접 생성한 질문을 제출하며 시스템과 상호작용했습니다.
• 지표: 세션 종료 후, 참가자들은 시스템의 개념적 이해에 대한 인지된 유용성과 일반적인 지원 작업에 대한 유용성을 서열 척도를 사용하여 평가하는 사후 설문조사를 완료했습니다. 질적 피드백과 예시적 상호작용 또한 수집되어 경계 조건(boundary conditions)을 식별하는 데 사용되었습니다.

결과
평가 결과, 인지된 효용성에 대해 엇갈리지만 대체로 긍정적인 결과가 나타났습니다:

• 도움 정도: 교육 인력의 66.7%(14/21)가 개념적 이해를 위해 시스템이 적어도 "중등도 수준으로 도움이 된다"고 평가했습니다. 14.3%는 "중등도 수준으로 도움이 되지 않는다"고 답했으며, 19.0%는 중립적이었습니다.
• 유용성: 66.7%(14/21)가 일반적인 지원 작업에 대해 시스템이 적어도 "중등도 수준으로 유용하다"고 평가했습니다.
• 최적 적합 시나리오: 참가자들은 루틴한 다이어그램 중심의 설명(예: 트리 순회, 동적 계획법 테이블, 다익스트라 알고리즘과 같은 그래프 알고리즘 시각화)에서 시스템의 가치가 가장 크다고 판단했습니다.
• 한계점: 참가자들은 깊은 심도가 필요한 고급 주제를 처리하거나, 광범위하게 그럴듯한 AI 응답에 의해 가려질 수 있는 학생의 미묘한 오개념을 진단하는 데 있어 시스템의 상당한 한계를 지적했습니다. 33.3%의 참가자가 특정 시나리오에서 중립적이거나 도움이 되지 않는다고 평가하여, AI가 학생의 혼란의 근본 원인을 놓칠 위험이 있음을 강조했습니다.

주요 기여 및 주장
본 논문은 "혁신적 실습(innovative practice)" 논문으로서 세 가지 주요 기여를 합니다:

1. 교육적 실습: 텍스트 중심의 AI 상호작용을 넘어, 초기 컴퓨팅 과정에서 감독되는 다이어그램 중심의 AI 지원을 위한 복제 가능한 프레임과을 제시합니다.
2. 디자인 패턴: 프롬프트 수준의 가드레일, 구조화된 다이어그램 렌더링(Mermaid), 그리고 TA 에스컬레이션 규칙이 결합되어 AI의 지원을 정답 생성이 아닌 개념적 설명으로 제한하는 배포 가능한 디자인 패턴을 명시합니다.
3. 전문가 검증: "최적 적합" 용도(루틴한 개념 시각화)와 경계 조건(미묘한 진단, 고급 주제)을 식별하는 전문가 평가 데이터를 제공합니다.

의의 및 주장의 겸허함
저자들은 BoilerSketch를 인간 교육자를 대체하는 도구가 아니라, 루틴하고 다이어그램으로 설명 가능한 질문을 위한 **신뢰할 수 있는 1차 대응 계층(first-response layer)**으로 정의합니다. 본 연구의 의의는 다음과 같은 조건에서 초기 컴퓨팅 지원이 더 교육적으로 신뢰할 수 있게 됨을 입증하는 데 있습니다:

• 개념적 설명으로 범위를 좁게 설정할 것.
• 자유 형식의 생성 대신 구조화된 출력(Mermaid)을 통해 구조적으로 제약할 것.
• 인간 스태프로의 명확한 에스컬레이션 프로토콜 내에 포함될 것.

본 논문은 학생의 학습 효과, 모든 주제에 대한 포괄적 정확성, 또는 오피스 아워 대기 시간의 감소를 입증하는 것이 아님을 명시하며 겸허하게 주장합니다. 대신, 학업적 무결성과 교육적 초점을 유지하면서 개념적 지원을 확장할 수 있는 구체적인 모델을 제공합니다. 저자들은 "프롬프트-역할-정책(prompt-as-policy)" 접근 방식이 강의의 가치(예: 학업 무결성 및 개념적 집중)를 시스템 동작으로 직접 변환할 수 있게 하며, 프롬프트 자체를 하나의 교육적 설계 산출물로 만든다고 주장합니다.