Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories

"계측 실험실을 위한 의도 매칭을 통한 정책 기반 LLM 라우팅" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

공학 계측 실험실에 튜터로서 대형 언어 모델 (LLM) 을 통합하는 것은 학습을 돕기 위한 충분한 지원을 제공하면서도 학생의 의존성을 유발하는 과도한 발판 (over-scaffolding) 을 피한다는 중요한 긴장 관계를 야기합니다. 현재 LLM 튜터링 시스템은 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

• 통제력 부족: 강사는 고도 발판 지원 (예: 완전한 해결책) 이 허용되는 시점, 프롬프트에 적용되는 변환 내용, 또는 비용이 어떻게 제한되는지를 지시할 수 있는 능력이 제한적입니다.
• 교육학적 vs 운영적 격차: 기존 라우팅 시스템은 비용이나 답변 품질을 최적화하지만, 강사가 정의한 교육 정책 (예: "승인되지 않는 한 개념적 지도만 허용") 은 무시합니다.
• 감사 가능성: 실시간 실험 환경에서 라우팅 결정, 프롬프트 수정, 예산 사용 내역을 추적할 수 있는 투명한 메커니즘이 부족합니다.

본 논문은 계측 실험실에 특화되어 비용 인식형 다중 모델 라우팅과 강사 주도 발판 정책 및 감사 가능한 프롬프트 개입을 결합하는 시스템 증거의 격차를 해소합니다.

2. 방법론 및 시스템 아키텍처

저자들은 LABIIUM 원격 전자 실험실 플랫폼에 통합된 두 가지 구성 요소 시스템을 제안합니다:

A. 시스템 구성 요소

1. Routiium (게이트웨이):

   • 로컬 및 클라우드를 포함한 여러 LLM 백엔드를 프론트하는 OpenAI 호환 게이트웨이입니다.
   • 기능: 클라이언트를 인증하고, 정책에 기반한 구성 가능한 프롬프트 오버레이(쿼리/응답 수정) 를 적용하며, 턴별 사용량 (토큰, 비용, 모델) 을 기록합니다.
   • 개인정보 보호: 로컬 모델로 라우팅될 때 학생 쿼리를 캠퍼스 네트워크 내에 유지합니다.

2. EduRouter (의사 결정 엔진):

   • 각 쿼리에 대한 백엔드를 선택하는 정책 인식형 라우팅 서비스입니다.
   • 작업 흐름:
     1. 의도 매칭: 학생 쿼리와 강사가 선별한 정규 질문 라이브러리 간의 임베딩 유사성을 계산합니다.
     2. 정책 시행: 예산 한도, 승인 워크플로우, 힌트 수준 제약 (L0–L3) 을 확인합니다.
     3. 라우팅 결정: 라이브러리 메타데이터 (선호 티어, 최대 비용) 와 "점착성"(동일 모델에서 대화 컨텍스트 유지) 을 기반으로 모델을 선택합니다.
     4. 폴백: 라이브러리 매칭이 임계값을 초과하지 않으면 쿼리 복잡도에 기반한 휴리스틱 라우팅으로 폴백합니다.

B. 거버넌스 메커니즘

시스템은 특정 힌트 수준과 정책 모드를 정의합니다:

• 힌트 수준 (L0–L3): 최소 검증 (L0) 에서 완전한 해결책 (L3) 까지 범위입니다. 더 높은 수준 (L2/L3) 은 예산 차감 또는 조교 (TA) 승인을 트리거합니다.
• 정책 모드:
  • P0 (비규제): 제한 없음, 오버레이 비활성화.
  • P1 (규제됨): 강제 지출 한도 및 힌트 상한선.
  • P2 (무결성 중심): 엄격한 승인 대기열 및 무결성 플래그 게이트.

C. 평가 방법론

시스템은 두 가지 접근 방식을 사용하여 평가되었습니다:

1. 추적 기반 시뮬레이션: 두 개의 전자 실험실 (LED 특성 분석, RC 회로 분석) 의 데이터로 보정된 시뮬레이터를 사용하여 합성 작업 부하 (416 가지 구성) 하에서 정책 준수를 테스트했습니다.
2. 실시간 쿼리 재생: 실제 비용, 지연 시간 및 라우팅 정확도를 측정하기 위해 100 개 쿼리 작업 부하를 라이브 모델 엔드포인트를 통해 재생했습니다.

3. 주요 기여

• Routiium: 구성 가능한 프롬프트 오버레이 및 턴별 감사 로그를 가능하게 하는 오픈 소스 OpenAI 호환 게이트웨이.
• EduRouter: 임베딩 기반 의도 매칭과 엄격한 정책 시행 (예산, 승인) 을 통합하는 라우팅 서비스.
• 거버넌스 지표: 시스템이 강사 정책과 얼마나 일치하는지를 특성화하기 위한 새로운 행동 지표 세트 (교육적 결과 지표 아님):
  • 도전 일치 지수 (CAI): 관찰된 힌트 분포와 목표 힌트 분포 간의 일치도.
  • 생산적 고난 창 (PSW): 고도 발판 힌트가 나타나기 전까지의 턱 수.
  • 오버레이 준수 점수 (OAS): 프롬프트 수정에 대한 검증.
  • 정규 히트율 (CHR) 및 라우팅 이득 (CRG): 의도 기반 라우팅의 효율성.
• 오픈 릴리스: 소스 코드, 시뮬레이션 구성 및 평가 도구의 전체 공개.

4. 결과

시뮬레이션 결과 (정책 준수)

• 도전 일치: 규제된 정책 (P1/P2) 은 CAI 를 0.90(비규제) 에서 0.98로 증가시켜 목표 힌트 분포에 대한 거의 완벽한 준수를 나타냈습니다.
• 오버레이 준수: 규제된 정책 하에서 OAS 는 0.69에서 0.87로 향상되었습니다.
• 생산적 고난: PSW 지표는 1.4에서 3.6턴으로 증가하여, 학생들이 고도 발판 힌트를 받기 전에 더 많은 시간을 고난을 겪을 수 있게 되었습니다.
• 형평성: 형평성 지수 (EI) 는 약간 감소 (0.59에서 0.52) 하여, 예산 한도가 L3 힌트를 더 적은 수의 학생에게 집중시켰음을 나타냈으며, 이는 강사가 관리해야 하는 트레이드오프입니다.

실시간 재생 결과 (비용 및 지연 시간)

• 비용 절감: EduRouter 는 쿼리의 75% 를 로컬 모델 (gpt-oss-20b) 로 라우팅하여 총 토큰 비용을 66% 절감했습니다 (전체 프리미엄 라우팅 대비 $0.26 대$0.087).
• 지연 시간:
  • 직접 클라우드 (GPT-5 Mini): 평균 23.2 초 지연 시간.
  • 로컬 모델: 평균 26.1 초 지연 시간.
  • 라우팅 실행: 지능형 선택으로 인해 평균 21.7 초 지연 시간 (라우팅 오버헤드 포함 첫 번째 토큰 도달 시간 (TTFT) 305ms).
• 라우팅 정확도:
  • 쉬움/보통 쿼리: 96% / 89% 정확도.
  • 고급 쿼리: 68% 정확도 (대학원 수준의 문제 해결에 대한 정규 커버리지 부족으로 인한 것).
• 정규 성능: 선별된 89 개 의도 질문 은행에서 정규 히트율 (CHR) 은 1.0으로, 알려진 의도에 대한 완벽한 매칭을 입증했습니다.

5. 중요성 및 한계

중요성:

• 시스템 아티팩트: 본 논문은 교육 분야에서 "규제된 AI"를 위한 구체적이고 구현 가능한 프레임워크를 제공하며, 초점을 "LLM 이 가르칠 수 있는가?"에서 "우리가 LLM 이 어떻게 가르치는지를 어떻게 통제할 수 있는가?"로 전환합니다.
• 비용 효율성: 임베딩 기반 라우팅이 표준 실험실 쿼리 처리 능력을 희생하지 않으면서 비용을 크게 절감할 수 있음을 입증했습니다.
• 감사 가능성: 특정 모델이나 힌트 수준이 선택된 이유에 대한 턴별 로그를 제공하여 "블랙박스" 문제를 해결함으로써 강사가 정책을 동적으로 감사하고 조정할 수 있게 합니다.

한계:

• 범위: 지표는 교육적 효과 (학습 결과) 가 아닌 행동 준수를 측정합니다.
• 데이터 충실도: 시뮬레이션은 제한된 보정 세션에서 유도된 학생 행동의 마르코프 모델에 의존하며, 실제 학생 행동은 다를 수 있습니다.
• 커버리지: 시스템은 정규 라이브러리 내 쿼리에서 가장 잘 작동합니다. 고급 및 새로운 쿼리 (예: 대학원 수준의 문제 해결) 는 라이브러리 격차로 인해 현재 라우팅 정확도가 낮습니다.
• 선별 오버헤드: 정규 라이브러리 생성에는 학기당 강사 노력 2~3 시간이 필요하며, 그 가치는 아직 사용자 연구에 의해 검증되지 않았습니다.

결론:
본 논문은 강사가 교육 정책을 시행하고, 비용을 관리하며, AI 지원 실험실에서 감사 추적선을 유지할 수 있게 해주는 라우팅 및 거버넌스 레이어를 성공적으로 입증합니다. 이는 이러한 거버넌스 메커니즘이 향상된 학습 결과로 이어지는지 여부를 결정하기 위한 향후 교실 연구를 위한 기초를 마련합니다.