Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

기술 요약: 주권적 기업용 언어 모델을 위한 온톨로지 증폭 증류 및 맥락성 감사

문제 정의
베트남의 규제 대상 금융 기관들은 고객 데이터를 해외 프런티어 모델 API로 전송하는 것을 금지하는 엄격한 데이터 거주 규칙 하에서 운영된다. 따라서 로컬에 배포 가능한 모델을 운영하는 것은 단순한 비용 절감 대안이 아니라 컴플라이언스(준수) 요구 사항이다. 핵심 과제는, 온프레미스 하드웨어로 제한된 환경에서 더 작은 규모의 로컬 배포 가능 '학생(student)' 모델이 프런티어 모델(예: GPT-5)과 동일한 도메인 그라운딩(grounding) 품질을 달-성할 수 있는지 여부를 결정하는 것이다. 선행 연구에서는 도메인 온톨로지를 제공하는 것이 프런티어 모델의 충실도를 향상시킨다는 점을 입증했으나, 학생 모델의 특화 도메인에 대한 파라미터 커버리지가 더 얇은 상황에서 온톨로지 그라운딩이 프런티어 모델과 대등한 수준으로 학생 모델을 끌어올릴 수 있는지는 아직 입증되지 않았다.

방법론
본 연구는 모델 증류를 위한 축소된 동력의 메커즘 증명(proof-of-mechanism)과 에이전트 라우팅을 위한 통합된 맥락성 감사라는 두 부분의 접근 방식을 채택한다.

1. 온톨로지 증폭 증류 (Ontology-Amplified Distillation):

   • 모델: Qwen3.6-27B 학생 모델을 MLX 프레임워크를 사용하여 단일 Apple M5 Max (128 GB 통합 메모리)에서 로컬로 적응시켰다.
   • 훈련 파이프라인:
     • 캡처(Capture): 프런티어 교사 모델(GPT-5 및 GPT-5-mini)은 프롬프트에 특정 "Foundation AgenticOS" 온톨로지 슬라이스(역할, 도메인 개념, 규제 및 상호작용 패턴을 포함)를 주입하여 451개의 그라운딩된 궤적(trajectories)을 생성했다.
     • 지도 미세 조정 (SFT): 저계수 어댑터(LoRA)를 사용하여 이러한 궤적에 대해 학습시켰으며, 손실(loss)을 2.370에서 0.496으로 감소시켰다.
     • 온톨로지 기반 직접 선호 최적화 (DPO): 학생 모델은 47개의 합성 선호 쌍(학습용 42개, 검증용 5개)을 통해 추가 튜닝되었다. 각 쌍에서 온톨로지 기반의 프런티어 답변은 "선호됨(preferred)"으로 표시되었고, 온톨로지 슬라이스가 없는 베이스 모델의 답변은 "비선호됨(dispreferred)"으로 표시되었다. 이는 일반적인 프런티어 모방으로부터 온톨로지 기반 행동 학습을 분리하기 위함이었다.
   • 평가: 학생 모델은 40개의 베트남 금융 도메인 작업(은행, 보험, 자본 시장, 부동산 기술)에 대해 홀드아웃(held-out) 세트를 사용하여 GPT-5와 비교 평가되었다.
   • 지표: 로컬의 결정론적 "온톨로지 준수" 지표($r_{onto}$)가 사용되었다. 이 지표는 답변이 작업의 온톨로지 용어를 적어도 하나 포함하면 1.0, 그렇지 않으면 0.5를 부여한다. 이 지표는 정답 여부나 완전성보다는 용어 존재 여부에 집중하는 광범에 대한 퇴행적 프록시(degenerate proxy) 역할을 한다.

2. 맥락성 감사 (Contextuality Audit):

   • 별도의 파일럿(RA-15)에서 엔터프라이즈 에이전트 라우팅을 위한 "기본 맥락성(Contextuality-by-Default, CbD)" 프레임워크를 테스트했다.
   • 감사는 "직접 영향(direct influence, 프롬프트 변화가 자연스럽게 답변을 바꾸는 경우)", "구성 결합(construct coupling)", 그리고 "잔여 맥락성(residual contextuality, 직접 영향을 고려한 후에도 남아있는 불일치)"을 구분하는 것을 목표로 했다.
   • 연구는 역할 프레임, 프롬프트 순서, 구성 어구(construct wording)를 포함하는 여러 단계(1.0 ~ 1.3)에 걸친 출력을 로컬 Qwen 및 Gemma 모델을 사용하여 분석했다.

주요 결과

• 증류 패리티 (Distillation Parity): 40개의 홀드아웃 작업에서, 증류된 학생 모델은 36개 작업을 그라운딩하였고(그라운딩 비율 90%, 평균 $r_{onto} = 0.95$), 이는 GPT-5 프런티어 베이스라인과 동일한 횟수를 달성한 것이다.
  • 불일치 패턴: 모델들이 놓친 작업이 서로 달랐다. 학생 모델은 자본 시장 2개와 부동산 기술 2개 작업을 놓쳤고, 프런티어 모델은 자본 시장 1개와 부동산 기술 3개 작업을 놓쳤다. 두 모델 모두 놓친 작업은 2개였다.
  • 통계적 한계: $n=40$일 때, 쌍체 차이(paired difference)의 95% 신뢰 구간은 ±4개 작업에 걸쳐 있다. 이 결과는 동일한 점 추정치를 확립하지만, 통계적 동등성이나 우월성을 입증하지는 않는다. 본 연구는 사전에 등록된 "증폭(amplification)" 가설(학생 모델이 프런티어 모델을 능가할 것이라는 가설)을 확인하는 데 실패했음을 명시적으로 언급한다.
• 훈련 메커니즘: DPO 목적 함수는 선호 쌍을 성공적으로 분리했다. 검증 선호 정확도는 0에서 1.0으로 이동했고, 보상 마진(reward margin)은 단일 에포크 내에 0.307로 증가하여, 학생 모델이 온톨로지 슬라이스가 제시될 때 온톨로지 용어를 표면화하는 법을 학습했음을 나타냈다.
• 맥락성 감사: 파일럿 연구는 잔여 맥락성에 대해 부정적인 결과를 냈다. 확률 드리프트 잔차(probability-drift residuals)를 보정하고 기대 척도 직접 영향(expectation-scale direct-influence) 보정을 적용한 후, 로컬 Qwen 및 Gemma 실행 모두에서 모든 Phase 1.3 그룹의 정형적 CbD 정도는 0이었다. 식별된 유용한 신호는 잔여 맥락성이 아니라 직접 영향과 구성 결합이었다.

의의 및 주장
본 논문은 이를 배포 가능한 솔루션이라기보다 "메커니즘 및 제어" 연구로 포지셔닝한다. 주요 기여는 다음과 같다:

1. 훈련 레시피: "온톨로지 증폭 증류"를 일반적인 프런티어 모방으로부터 특정 온톨로지 준수 행동을 분리하여 주권 모델로 전이하는 방법으로 명시한다.
2. 거버넌스 진단 도구: 모델 간의 불일치가 언제 에스컬레이션(예: 토론, 합성, 인간 검토)을 트리거해야 하는지 결정하기 위한 맥락성 감사 방법을 제안한다. 파일럿에서 잔여 맥락성이 0이라는 결과는, 겉보기의 불일치가 종종 직접 영향이나 구성 결합으로 설명될 수 있음을 시사하며, 복잡한 다중 에이전트 개입을 수행하기 전에 이러한 요인들을 먼저 감사하는 "안전한 선행 규칙(safer precursor rule)"을 옹호한다.
3. 정직한 범위 제한: 저자들은 본 연구가 배포 가능성, 안전성, 우월성 또는 통계적 동등성을 뒷받침하는 증거를 제공하지 않는다는 점을 명시적으로 밝힌다. 본 연구는 실제 격차를 배제하기에는 "동력이 부족하며(underpowered)", 베트남 평가를 위해 합성된 영어 전용 선호 데이터를 사용했고, 조잡한 용어 커버리지 지표에 의존했다.
4. 이중 용도 투명성: 논문은 연구자의 플랫폼 공동 창업자이자 학자로서의 이중 역할을 인정하며, 본 연구가 주권 모델을 위한 내부 개념 증명(PoC)인 동시에 학술적 기여임을 밝힌다.

결론
본 연구는 온톨로지 기반 증류를 통해 튜닝된 로컬 배포 가능 Qwen3.6-27B 모델이 특정 베트남 금융 작업에 대해 프런티어 모델의 용어 커버리지 성능을 따라잡을 수 있음을 보여준다. 그러나 이 패리티는 축소된 동력의 메커니즘 증명이다. 논문은 배포 관련 주장을 하기 전에 비용, 안전성(OOD 프롬프트에 대한 기권 능력), 교차 스케일 성능(예: 14B 모델), 교차 언어적 그라운딩을 평가하기 위한 풀 파워(full-power) 평가가 필요하다고 결론짓는다. 맥락성 감사는 또한 엔터프라이즈 라우팅이 잔여 맥락성을 가정하여 복잡한 다중 에이전트 개입을 수행하기 전에 직접 영향과 구성 결합을 진단하는 것을 우선시해야 함을 시사한다.