Stan: An LLM-based thermodynamics course assistant

이 논문은 클라우드 API 에 의존하지 않고 오픈 가중치 모델과 로컬 하드웨어만으로 구동되며, 화학공학 열역학 과정에서 학생에게는 RAG 기반의 질문 응답을, 강사에게는 강의 분석 및 교재 인덱싱을 제공하는 'Stan'이라는 양면형 AI 도구의 설계, 구현 및 배포 경험을 제시합니다.

핵심

🎒 1. Stan 이란 무엇인가요? "수업의 두 얼굴"

Stan 은 한 가지 시스템으로 두 가지 역할을 동시에 합니다. 마치 한 쌍의 안경을 쓴 것과 같습니다.

• 학생용 안경 (학습 도우미): 학생이 "이거 뭐야?"라고 물으면, 책과 수업 녹음 내용을 찾아서 정확한 답과 페이지 번호를 알려줍니다.
• 교수님용 안경 (수업 분석가): 교수님은 이 시스템을 통해 "지난주에 학생들이 가장 헷갈려한 부분은 어디였지?", "내가 어떤 비유를 썼을 때 학생들이 눈을 반짝였지?"를 한눈에 볼 수 있습니다.

기존의 AI 는 학생만 도와주지만, Stan 은 수업의 기록을 남기고 분석해서 교수님의 가르침을 더 잘하게 도와줍니다.

🏠 2. 왜 '클라우드'가 아니라 '내 컴퓨터'인가요? (안전한 지하 창고)

대부분의 AI 는 인터넷에 있는 거대한 서버 (클라우드) 를 사용합니다. 하지만 Stan 은 학교나 교수님의 컴퓨터 (로컬 하드웨어) 에서 직접 작동합니다.

• 비유: 클라우드 AI 는 '대형 은행'에 돈을 맡기는 것과 같습니다. 은행이 안전하다고 하지만, 내 돈이 어떻게 쓰이는지 정확히 알기 어렵고 수수료가 들 수 있습니다. 반면 Stan 은 **집 안의 '금고'**에 돈을 보관하는 것과 같습니다.
• 장점:
  • 비밀 보장: 학생들의 질문이나 수업 내용이 외부로 유출될 걱정이 없습니다.
  • 비용 예측: 매번 질문할 때마다 돈을 내는 게 아니라, 한 번 장비를 사면 평생 무료 (전기세만 내면 됨) 입니다.
  • 인터넷 불필요: 인터넷이 끊겨도 수업 분석은 계속 됩니다.

📚 3. Stan 이 어떻게 공부하나요? (책과 녹음 tapes 의 만남)

Stan 은 두 가지 주요 자료를 가지고 있습니다.

1. 교과서 색인 (책의 목차): 책의 어떤 주제가 몇 페이지에 있는지 정리된 목록입니다.
2. 수업 녹음 (강의 테이프): 교수님이 수업을 하는 소리를 텍스트로 바꾼 것입니다.

🧠 학생용 기능: "이거 어디서 배웠지?"

학생이 "퓨가시티 (fugacity) 란 뭐야?"라고 물어보면, Stan 은 다음과 같이 움직입니다.

1. 검색: 책 색인에서 '퓨가시티' 관련 페이지를 찾습니다.
2. 확인: 수업 녹음에서 교수님이 이 단어를 언제, 어떻게 설명했는지 확인합니다.
3. 답변: "퓨가시티는 7 장 7.4 절 (314~317 페이지) 에 나와요. 교수님은 수업 때 이를 '기체가 탈출하려는 성향'이라고 비유하셨어요"라고 책과 수업 내용을 연결해 정확히 알려줍니다.
   • 중요: Stan 은 임의로 지어낸 답 (할루시네이션) 을 하지 않도록, 오직 책과 녹음 내용만 참고하도록 설계되었습니다.

🕵️‍♂️ 교수님용 기능: "수업의 숨은 보석 찾기"

교수님은 이 시스템을 통해 자신의 수업을 돌아볼 수 있습니다.

• 혼란 탐지: "어? 15 분 42 초에 학생들이 '엔트로피' 방향을 이해하지 못해서 다시 설명했네."라고 알려줍니다.
• 질문 분석: "지난주에 학생들이 '엔트로피'에 대해 가장 많이 물어본 질문은 뭐였지?"를 한눈에 보여줍니다.
• 비유 모음: "내가 '금속 큐브' 비유를 썼을 때 학생 반응이 좋았네. 다음엔 이걸 더 활용하자."라고 기록해 줍니다.

🛠️ 4. 기술적인 어려움과 해결책 (AI 의 실수 방지)

이 시스템을 만들면서 AI 가 자주 하는 실수들을 막기 위해 많은 노력을 기울였습니다.

• 할루시네이션 (망상): AI 가 없는 사실을 지어내는 것을 막기 위해, 책 색인을 먼저 찾아보게 했습니다. (책에 없으면 답하지 않음)
• 중복 반복: AI 가 같은 문장을 수십 번 반복하는 버그를 발견했습니다. 이를 막기 위해 3 번 이상 같은 문장이 나오면 자동으로 삭제하는 필터를 넣었습니다.
• 문맥 끊김: 강의 녹음이 너무 길어서 AI 가 앞부분만 읽고 뒤를 잊어버리는 문제가 있었습니다. 이를 해결하기 위해 메모리 (컨텍스트) 창을 크게 늘렸습니다.

🚀 5. 미래는 어떻게 될까요?

Stan 은 이제 시작일 뿐입니다. 앞으로는 다음과 같은 기능이 추가될 예정입니다.

• 실시간 계산기: 학생이 "이 방정식을 풀어줘"라고 하면, Stan 이 직접 코드를 짜서 풀어보여 줄 것입니다.
• 전 과목 연결: 열역학뿐만 아니라 다른 공학 과목의 지식도 연결해, "이 수학 공식이 열역학에서 어떻게 쓰이지?" 같은 질문에도 답할 수 있게 됩니다.

💡 결론: Stan 이 주는 메시지

이 논문은 **"AI 는 학생을 대신해서 공부해주는 도구가 아니라, 교수님과 학생이 함께 더 잘 가르치고 배우기 위한 파트너"**라는 점을 보여줍니다.

교수님의 수업 녹음과 책이라는 '진짜 자료'를 바탕으로, 개인 정보도 지키고 비용도 아끼면서 더 똑똑한 수업을 만들어가는 시스템입니다. 마치 수업에 가상의 조교가 상주하여 모든 것을 기록하고 정리해 주는 것과 같습니다.

기술 요약

논문 요약: Stan (화학 공학 열역학 과목을 위한 LLM 기반 튜터)

1. 문제 제기 (Problem)

• 교육용 AI 의 편향: 현재 교육 분야에서의 AI 논의는 주로 학생 대상 도구 (챗봇, 튜터, 문제 생성기) 에 집중되어 있으며, 강사 (교수) 를 지원할 수 있는 인프라의 잠재력은 largely 탐구되지 않았습니다.
• 할루시네이션 (Hallucination) 위험: 열역학과 같은 정밀한 과학 과목에서 LLM 이 생성한 답변은 사실과 다른 '할루시네이션'을 포함할 수 있어 치명적입니다.
• 보안 및 비용 문제: 클라우드 API 기반의 상용 모델은 데이터 프라이버시 우려, 예측 불가능한 비용, 그리고 서드파티 서비스에 대한 의존성을 초래합니다.
• 강사의 분석 도구 부재: 강사는 강의 녹음본을 검색하거나 학생들의 오개념을 체계적으로 분석할 수 있는 도구가 부족하여, 강의 내용 개선과 반성에 어려움을 겪습니다.

2. 방법론 (Methodology)

저자들은 Stan이라는 통합 도구 세트를 개발하여 학생과 강사 모두를 지원하는 이중 구조를 구현했습니다.

• 아키텍처 및 배포:

  • 로컬 배포 (Local Deployment): 모든 컴포넌트 (음성 인식, 구조화 추출, 대화형 질의응답) 를 클라우드 API 없이 로컬 하드웨어에서 실행합니다.
  • 하드웨어: GPU 워크스테이션 (NVIDIA RTX 4090) 에서 배치 처리 (전사, 색인 생성) 를 수행하고, 일반 노트북에서 Ollama 를 통해 78B(70 억80 억 파라미터) 크기의 오픈 웨이트 모델 (Llama 3.1 8B, Whisper large-v3) 을 사용하여 상호작용을 처리합니다.
  • 데이터 소스: 강의 녹음본 (Audio) 과 교재 (Textbook) 의 구조화된 색인 (목차 및 색인) 을 기반으로 합니다.

• 학생 대상 기능 (Student-facing):

  • 검색 증강 생성 (RAG) 파이프라인: 학생의 자연어 질의를 받으면, 교재 색인 (Textbook Index) 과 강의 전사본을 기반으로 기술 용어를 추출합니다.
  • 이중 경로 용어 추출 (Dual-path Term Extraction):
    1. 정규식 (Regex): 사전 정의된 기술 용어 패턴 매칭.
    2. LLM 추출: LLM 을 사용하여 관련 개념을 확장 (Query Expansion).
  • 최대 점수 병합 (Max-score Merge): 두 추출기의 결과를 병합하여 가장 관련성 높은 교재 페이지와 장 (Chapter) 을 참조하여 답변을 생성합니다. 이는 모델이 교재 내용만 기반으로 답변하도록 제한하여 할루시네이션을 방지합니다.

• 강사 대상 기능 (Instructor-facing):

  • 강의 분석 파이프라인: 동일한 전사본을 LLM 을 통해 분석하여 다음을 생성합니다.
    • 강의 요약: 주제, 핵심 개념, 수식, 강의 유형 분류.
    • 질문 식별: 학생/강사의 질문을 분류하고 교육적 중요도를 평가.
    • 혼란 감지 (Confusion Detection): 학생이 개념을 이해하지 못하는 순간이나 강사의 재설명이 필요한 지점을 타임스탬프와 함께 식별.
    • 사례 및 비유 카탈로그: 강의 중 사용된 비유, 유머, 실제 사례 등을 기록.

• 기술적 도전 및 해결책:

  • 도메인 용어 인식: Whisper 모델이 전문 용어 (예: 'fugacity'를 'GASB'로 오타) 를 잘못 인식하는 문제를 해결하기 위해, 강사가 제공하는 도메인 어휘 프롬프트 (Domain Vocabulary Prompting) 를 사용하여 인식 정확도를 높였습니다.
  • 할루시네이션 루프 방지: Whisper 의 반복 루프 (동일 문구 반복) 를 감지하고 제거하는 3 단계 전략 (디코더 레벨 억제, 컨텍스트 분리, 후처리) 을 적용했습니다.
  • 구조적 추출 실패 모드 대응:
    • 컨텍스트 잘림 (Context Truncation): 강의 전사본이 모델의 컨텍스트 윈도우를 초과하는 문제를 해결하기 위해 컨텍스트 크기를 명시적으로 16,384 토큰으로 설정.
    • 이중 모드 출력 (Bimodal Output): 질문 추출 시 모델이 일정한 개수 (예: 8 개) 의 가짜 질문을 생성하거나 과도하게 추출하는 문제를 해결하기 위해 2 단계 파이프라인 (추출 단계 -> 필터링 단계) 을 도입했습니다.

3. 주요 기여 (Key Contributions)

1. 강사 중심 AI 도구의 구현: 학생뿐만 아니라 강사의 강의 분석, 반성, 개선을 지원하는 최초의 LLM 기반 도구 세트를 제시했습니다.
2. 완전 로컬 및 오픈 소스 아키텍처: 클라우드 의존성 없이 로컬 하드웨어와 오픈 웨이트 모델 (Whisper, Llama) 만을 사용하여 데이터 프라이버시, 비용 통제, 재현성을 보장합니다.
3. 교재 기반의 정밀한 RAG: 벡터 유사도 검색 대신 교재의 구조화된 색인 (Index) 을 활용하여 기술적 정확도를 높이고, 할루시네이션을 최소화하는 하이브리드 추출 방식을 제안했습니다.
4. 실무적 실패 모드 분석 및 완화: 7~8B 파라미터 모델을 장문의 강의 전사본에 적용할 때 발생하는 구체적인 실패 모드 (컨텍스트 truncation, 이분산 출력, 스키마 드리프트 등) 를 식별하고 이를 해결하는 실용적인 전략을 제시했습니다.

4. 결과 (Results)

• 전사 품질: 도메인 프롬프팅과 할루시네이션 감지 기법을 적용한 결과, 39 개 강의 (35.7 시간) 전사 시 할루시네이션 루프 발생률이 6.4% 에서 0.02% 로 감소했습니다.
• 정확도: 교재 색인 기반의 RAG 시스템은 학생의 질문 (예: "Fugacity 설명") 에 대해 교재의 특정 장과 페이지를 정확히 인용하여 답변을 생성했습니다.
• 강사 분석: 35 개 강의의 전사본을 약 15 분 내에 처리하여 요약, 질문, 혼란 지점, 비유 등을 구조화된 JSON 형식으로 추출하는 데 성공했습니다.
• 성능: RTX 4090 GPU 에서 39 개 강의 전사를 43.7 분 (실시간의 49 배 속도) 에 완료했으며, 노트북 환경에서도 상호작용이 원활하게 작동했습니다.

5. 의의 및 시사점 (Significance)

• 교육 AI 의 패러다임 전환: AI 를 단순히 학생의 과제 해결 도구가 아닌, 강사의 교수법 개선과 커리큘럼 개발을 지원하는 '강사 파트너'로 재정의했습니다.
• 지속 가능성과 접근성: 클라우드 API 비용과 데이터 유출 위험을 제거하여, 대학 내부의 기존 하드웨어를 활용한 지속 가능한 AI 교육 인프라 모델을 제시했습니다.
• 기술적 엄밀성 유지: 열역학처럼 오차가 허용되지 않는 과목에서 LLM 의 할루시네이션을 교재 기반의 구조화된 데이터로 통제하는 방법을 입증했습니다.
• 확장성: 이 시스템은 화학 공학 커리큘럼 전체로 확장 가능하며, 상호작용형 코드 실행 (예: 열역학 계산기) 과 같은 기능 추가를 통해 공학 교육의 디지털 전환을 선도할 잠재력을 가집니다.

이 논문은 LLM 기반 교육 도구가 단순한 챗봇을 넘어, 데이터 프라이버시를 보호하면서도 교사와 학생 모두에게 실질적인 가치를 제공하는 로컬 배포형 시스템으로 구현될 수 있음을 보여줍니다.