VectorizationLLM: Smart Vectorization Based AI Assistant

기술 요약: VectorizationLLM

문제 정의
본 논문은 뉴욕 공과대학교(New York Institute of Technology)의 주니어 레벨 과정인 CTEC 247: Applied Computational Analysis II에서 지속적으로 발생하는 교육적 과제를 다룬다. 이 과정은 MATLAB 기반의 벡터화(vectorization), 구간 함수(piecewise functions), 푸리에 분석(Fourier analysis), 그리고 미분 방정식에 중점을 둔다. 2024년의 Zoom 채팅 지원 및 2025년의 강의 예시 확대와 같은 이전의 개입에도 불구하고, 하위 25% 학생들은 특정 개념적 격차로 인해 계속해서 어려움을 겪었다. 이러한 어려움에는 루프(loop) 대신 "스마트 벡터화(smart vectorization)"를 활용하지 못하는 문제, 논리적 인덱싱(logical indexing)의 잘못된 사용, 구간 함수의 부적절한 결합, 그리고 미분 방정식 풀이 시 심볼릭(symbolic) 문법과 시간 벡터(time-vector) 문법 사이의 혼동 등이 포함된다. 기존 도구들은 기능이 부족한 것으로 밝혀졌다: 기본 MATLAB AI 에디터는 구문론적으로는 올바르지만 논리적 오류가 있는 코드에 대해 설명하지 못했으며, 일반적인 LLM(예: ChatGPT, Gemini)은 학업 무결성 문제로 인해 사용이 금지되었고 직접적인 해답을 제공하거나 비벡터화된 코드를 사용하는 경향이 있었다. 또한 기존의 AI 튜터들은 고수준의 개념을 요구되는 MATLAB 툴박스 함수와 연결할 수 있는 특정 교과 과정의 맥락이 부족했다.

방법론
교수법과 학생 이해도 사이의 간극을 메우고 학업 무결성을 준수하기 위해, 저자들은 특화된 대규모 언어 모델 어시스턴트인 VectorizationLLM을 개발하였다. 이 시스템은 기술적이지만 접근성이 낮은 Qwen 모델 대신, 사용자 친화적인 응답 스타일를 가진 Google DeepMind의 Gemma 4 26B A4B 오픈 웨이트 모델을 기반으로 구축되었다.

아키텍처는 OpenWebUI 플랫폼 내에 통합된 검색 증강 생성(Retrieval Augmented Augmented Generation, RAG) 프레임워크를 채택한다. 시스템은 세 가지 핵심 구성 요소로 이루어진다:

1. RAG 지식 베이스: 선수 과목(CTEC 243) 및 현재 과목(CTEC 247)의 강의 노트 마크다운 버전을 입력받는다. 여기에는 구간 함수 및 푸리에 분석을 위한 특정 툴박스 문서가 포함되어 있어, 모델이 외부 솔루션을 환각(hallucination)하는 대신 코드 블록과 절차적 단계를 그대로 가져오도록 보장한다.
2. 시스템 프롬프트 설계: 커스텀 프롬프트 아키텍처는 세 가지 기둥을 강제한다:
   • 기능성(Functionality): 개념적이고 단계적인 설명 및 강의 노트의 원문 코드 블록을 우선시한다.
   • 결정론(Determinism): 단일 스레드 내의 다회차 대화 전반에 걸쳐 특정 데이터(코드 블록, 이미지)를 일관되게 회상하도록 보장한다.
   • 가드레일(Guardrails): 숙제에 대한 직접적인 해답이나 노트에 없는 새로운 코드를 생성하는 것을 엄격히 금지한다. 금지된 기법(루프, 조건문)을 적극적으로 억제하며, 프롬프트 인젝션 또는 "탈옥(jailbreaking)" 시도를 방지한다.
3. 인터페이스: OpenWebUI를 통해 호스팅되며, 학생들이 이전 문맥을 바탕으로 후속 질문을 던질 수 있는 개인화된 스레드 기반 경험을 제공하여, 파일 업로드 기능 없이도 일대일 튜터링 세션을 모방한다.

주요 기여
본 연구의 주요 기여는 상세한 개념적 교육과 엄격한 학업 무결성 강제 사이의 균형을 맞춘 교과 과정 특화 AI 어시스턴트의 응용 기반 참신함이다. 일반적인 튜터와 달리, VectorizationLLM은 다음과 같이 설계되었다:

• 루프나 조건문 대신 "스마트 벡터화"와 논리적 인덱싱을 강제하여 MATLAB 커리큘럼의 특정 교육 목표와 일치시킨다.
• 추상적인 수학적 개념(예: 푸리에 분석, 과도 응답)을 해당 과정에서 사용되는 특정 툴박스 함수 및 코드 스니펫과 직접 연결한다.
• 최소한의 사용자 프롬프트만으로 특정 모듈 학습을 위한 로드맵을 생성할 수 있는 "학습 가이드" 기능을 제공한다.
• 외부 RAG 제공자 없이 OpenWebUI의 네이티브 지식 베이스를 활용하여 데이터 소스에 대한 통제권을 유지한다.

결과
시스템의 성능은 소스 강의 노트에 대한 코드 블록 회상의 정확성을 검증하기 위해 설계된 커스텀 파이썬 스크립트를 사용하여 평가되었다. 외부 지식을 배제하도록 설계된 시스템의 특성상 표준 환각 지표(예: RAGAS)는 적용 불가능한 것으로 간주되었다.

• 코드 회상(Code Recall): 평가는 48행의 코드를 포함하는 15개의 코드 블록을 테스트했다. 모델은 97.92%의 원문 회상률(48행 중 47행)을 달enc성했다.
• 오류 분석: 단 하나의 실패 사례(Block 11)는 모델이 ode45 유닛의 상수와 dsolve 유닛의 상수를 결합한 "주제 참조 오류"를 포함했다. 저자들은 이것이 베이스 모델의 사전 학습된 코드로부터 발생한 환각이 아니라, 변수 정의에 관한 문맥 회수 오류라고 언급했다.
• 질적 성능: 시스템은 "의심스러운 프롬프트"(숙제 정답에 대한 직접적인 요청)를 받았을 때, 최종 코드 솔루션을 제공하지 않고 개념적 워크플로우와 단계별 로직으로 전환함으로써 학업 무결성을 유지하는 데 성공했다.

의의 및 주장
본 논문은 VectorizationLLM이 새로운 아키텍처적 돌파구라기보다는 전문화된 학술 보조 도구라고 겸손하게 주장한다. 그 의의는 기술적 공학 과정에서 하위 25% 학생들의 흔한 실패 지점을 구체적으로 겨냥한 맞춤형, 사용자 친화적 인터페이스를 제공할 수 있다는 점에 있다. 직접적인 솔루션 생성을 막는 엄격한 가드레일을 적용하면서도 풍부하고 문맥에 맞는 설명을 제공함으로써, 본 시스템은 기존 방식(채팅 지원 및 강의 예시)이 하위 성취도 학생들을 돕는 데 실패했던 지점을 개선하고자 한다. 저자들은 이 시스템이 2026년 가을 학기에 즉시 배포되도록 설계되었으며, 향후 과제는 2027년 통합 MATLAB 과정(CTEC 249)으로 커리큘럼을 전환하기 전 효능을 검증하기 위해 학생 참여도 및 성과 지표를 측정하는 것에 집중되어 있다고 밝혔다.