기술 요약: 메트릭스 기반 거버넌스와 govllm 프레임워크

1. 문제 제기

현재의 AI 규정 준수 접근 방식은 준수를 생산 시스템의 지속적이고 측정 가능한 속성이 아닌, 감사 시점의 이분법적 판정으로 취급합니다. 이러한 "규정 준수 허상"은 지속적인 인간 감독과 배포된 시스템에서 발생하는 행동의 급격한 변화 (drift) 감지를 의무화하는 EU AI 법의 요구 사항에 구조적으로 적합하지 않습니다. 정적 평가 (예: 일회성 작성된 문서, 주기적 감사) 는 맥락, 사용 패턴, 모델 업데이트에 따라 진화하는 행동 특성을 가진 에이전트 및 생성형 AI 의 역동성을 포착하지 못합니다. furthermore, 기존 거버넌스 프레임워크는 런타임에서 규정 준수를 모니터링할 수 있는 운영 도구를 종종 부족하게 갖추고 있으며, 기존 평가 프레임워크는 규제 신호 생성보다는 지연 시간과 비용 최적화에 맞춰져 있습니다.

중요한 구조적 긴장감이 존재합니다: 데이터 주권 요구 사항이 있는 규제 환경 (예: GDPR 제 44 조) 에서 외부 API 를 통한 규정 준수 평가를 수행하는 것 자체가 평가 중인 의무를 위반할 수 있습니다. 따라서 온프레미스 평가는 단순한 설계 선호도가 아닌 규제적 필수 사항입니다.

2. 방법론: 메트릭스 기반 거버넌스

본 논문은 규정 준수가 정적 감사 판정이 아닌 생산 가시성 (observability) 에서 도출된 지속적 신호로 취급되어야 한다는 원칙인 메트릭스 기반 거버넌스 (Governance from Metrics) 를 제시합니다. 이를 운영화하기 위해 저자들은 오픈소스 온프레미스 런타임 프레임워크인 govllm을 소개합니다.

핵심 아키텍처 구성 요소

• 거버넌스 프로필: 투명성, 데이터 프라이버시, 조작 금지 등 가중치와 최소 임계값이 연관된 규정 준수 기준의 순서화된 집합입니다. 이러한 프로필은 법적 의무를 측정 가능한 기술적 메트릭스로 매핑합니다.
• 프로필-배심원 (Profile-as-Jury): 단일 통합 심판관 대신 시스템은 전문화된 LLM 심판관 패널을 활용합니다. 각 규제 기준은 특정 LLM 심판관 (예: 데이터 보호 책임자 역할이 특정 모델에 매핑됨) 에 할당됩니다. 이 설계는 자기 선호 편향을 방지하기 위해 생성자/평가자 분리를 강제합니다.
• 런타임 평가 파이프라인:
  • 채팅 모듈: 사용자 프롬프트를 활성 모델로 라우팅하고 비동기 심판관 평가를 트리거합니다.
  • 가시성 (Observability): 지연 시간, 오류율, 추적 데이터 (Langfuse 를 통해) 를 집계합니다.
  • 평가 서비스: Ollama 를 통해 로컬에서 실행되는 소형 언어 모델 (SLM) 을 사용하여 심판관 추론을 조정합니다.
  • 라이프사이클 관리: 테스트 → 인간 게이트 → 생산 → 격리의 4 구역 자격 부여 주기를 구현합니다. 모델의 규정 준수 점수가 구성 가능한 임계값 이하로 저하되면 자동으로 격리됩니다.
• 궤적 기반 라우팅: 지연 시간/비용과 같은 즉각적인 성능에 기반한 표준 라우팅과 달리, govllm 은 점수 이력을 통합합니다. 현재 점수가 감소하는 모델보다 낮더라도 개선되는 규정 준수 궤적을 가진 모델로 라우팅할 수 있습니다.

심판관 평가 프로토콜

저자들은 5 가지 규제 기준 (투명성, 인간 감독, 데이터 프라이버시, 조작 금지, 프롬프트 인젝션) 에 걸쳐 49 개의 주석 달린 프롬프트/응답 쌍으로 구성된 그라운드 트루스 코퍼스를 사용하여 프레임워크를 검증했습니다. 이들은 완전히 온프레미스에서 실행되는 4 개의 SLM(phi4-mini, mistral:7b, gemma3:4b, qwen3:1.7b) 에 의해 평가되었습니다. 평가는 위치 편향과 구조적 실패 모드를 측정하기 위해 세 가지 질문 순서 조건 (원본, 반전, 무작위 순서) 을 테스트했습니다.

3. 주요 기여

이론적 및 아키텍처적

1. 메트릭스 기반 거버넌스: 생산 가시성에서 도출된 지속적 신호로서 규정을 준수하는 것을 공식화합니다.
2. 프로필-배심원: 전문화된 LLM 이 특정 규제 역할을 평가하는 인간 전문가 패널의 계산적 전이를 제안합니다.
3. 거버넌스된 자격 부여 라이프사이클: AI 법 제 9 조 (지속적 위험 관리) 및 제 14 조 (인간 감독) 와 정렬된 테스트-인간 게이트-생산-격리 파이프라인을 구현합니다.
4. 규정 준수 게이트: 특정 기준에 대한 최소 임계값 점수를 충족하지 못하는 모델을 라우팅에서 자동으로 제외하는 정책-as-코드 메커니즘입니다.

경험적 및 진단적

5. 심판관 간 변동성 (Inter-Judge Variance) 을 신호로 재해석: 심판관 간의 불일치를 억제해야 할 노이즈가 아닌, 인간 중재가 필요한 규제 불확실성 신호로 재정의합니다.
6. 심판관 내 불일치 감지: 그라운드 트루스 없이 관찰 가능한 소형 규제 심판관의 세 가지 구조적 실패 모드를 식별하고 공식화합니다:
   • 진실 편향 (Truth Bias): 위반 여부와 관계없이 "준수 (true)"로 체계적으로 기본 설정하는 경향.
   • 추론/출력 분리: 위반을 식별하는 이유를 생성하면서도 동시에 준수 점수를 반환하는 현상.
   • 프롬프트 아키텍처 민감성: 질문 순서 및 출력 형식 (예: 강제 선택 편향) 에 대한 높은 민감도.
7. 체크리스트 기반 유효성 평가: CNIL, ANSSI, EU AI 법과 같은 판례 출처에 기반한 이진 체크리스트 프로토콜을 도입하여 심판관의 신뢰성 (reliability) 과 독립적으로 유효성 (validity) 을 측정합니다.

4. 실험 결과

이 연구는 세 가지 질문 순서에서 49 개의 사례에 대해 4 개의 SLM(17 억~70 억 파라미터) 을 평가했습니다.

• 모델 성능: 단일 모델이 모든 기준에서 우위를 점하지는 않았습니다. phi4-mini(38 억 파라미터) 는 원본 순서에서 69.1% 의 가장 높은 전역 일치율을 달성하여 더 큰 mistral:7b(51.5%) 를 능가했습니다. 그러나 phi4-mini 의 견고성은 조건부였으며, 무작위 순서 질문 하에서 data_privacy 기준에서 크게 저하되었습니다 (-25 백분율 포인트).
• 전문화: 각 기준을 가장 유효한 심판관에 할당하는 전문화된 패널 (프로필-배심원) 은 가장 우수한 단일 심판관보다 3.5 백분율 포인트 (72.6% 대 69.1%), 베이스라인보다 10.9 포인트 더 높은 성능을 보였습니다.
• 위치 편향: 위치 편향은 소형 심판관의 구조적 속성으로 발견되었으며, 질문 순서 무작위화 하에서 일치도를 최대 25 백분율 포인트까지 저하시켰습니다. mistral:7b는 순서에 민감하지 않았으나 전반적으로 가장 정확도가 낮았습니다.
• 실패 모드:
  • gemma3:4b는 낮은 이유 일관성 (69.1%) 을 보였으며, 이유들이 종종 모호하거나 점수와 모순되었습니다.
  • mistral:7b는 "유창하지만 틀린" 패턴을 보였습니다: 높은 내부 일관성 (92.7%) 이지만 그라운드 트루스와의 일치도는 낮았습니다 (51.5%).
  • qwen3:1.7b는 강한 위치 민감성과 맥락 의존적 보정을 보여주었습니다.
• 파라미터 수: 파라미터 수는 거버넌스 점수의 나쁜 대리 변수였습니다 (피어슨 상관관계 r = -0.39). 이는 규제 평가에서 원시 용량보다 도메인별 보정이 더 중요함을 시사합니다.

5. 중요성 및 주장

본 논문은 다음과 같은 조건 하에 소형 로컬 모델을 사용하여 의미 있는 규제 준수 모니터링이 가능하다고 주장합니다:

1. 심판관이 단일 일반 모델에 의존하기보다 기준별로 전문화되어야 합니다.
2. 심판관은 신뢰성 (일관성) 이 아니라 유효성 (그라운드 트루스에 대한 정확도) 에 대해 평가되어야 합니다.
3. 거버넌스 아키텍처는 심판관 불확실성 (심판관 간 변동성) 을 평균화해야 할 결함이 아닌, 인간 에스컬레이션을 위한 규제 신호로 취급해야 합니다.

저자들은 govllm을 정적 감사가 불충분한 고위험 시스템을 특히 대상으로 EU AI 법의 지속적 모니터링 요구 사항을 운영화하기 위한 구체적이고 재현 가능하며 주권적인 단계로 위치시킵니다. 이 프레임워크는 "규정 준수 허상"을 해결하기 위해 시점별 선언에서 실제 생산 상호작용에서 도출된 지속적이고 관찰 가능한 신호로의 전환을 통해, 완전한 온프레미스 실행을 통해 데이터 주권을 유지합니다.

본 논문은 그라운드 트루스 코퍼스가 예비적이며, 통계적 유의성은 샘플 크기에 의해 제한되며, 프레임워크의 규정 준수 신호는 법적 결정이 아닌 통계적 추정치임을 명시하여 주장을 겸손하게 유지합니다. 향후 작업은 궤적 기반 라우팅의 대규모 경험적 검증과 모델 패밀리 간 인식적 차별 (epistemic discrimination) 측정이 필요하다고 식별되었습니다.