기술 요약: AI 역학(AI Epidemiology)을 향하여

문제 정의

현대의 AI 시스템, 특히 대규모 언어 모델(LLM)은 내부 연산 과정이 불투명한 "블랙박스" 상태인 고위험 규제 도메인(의료, 금융, 법률 등)에 점점 더 많이 배치되고 있습니다. 현재의 거버넌스 접근 방식은 모델 출력을 내부의 인과적 메커니즘으로 매핑하려는 대응 기반 해석 가능성(correspondence-based interpretability, 예: SHAP, LIME, 기계적 추적)에 크게 의존합니다. 그러나 모델의 규모가 커짐에 따라 이러한 방법들은 계산적 불가능성과 인식론적 불신성에 직면하게 됩니다. 즉, 특성 기여도(feature attributions)는 불안정해지며, 모델은 그럴듯해 보이지만 충실하지 않은 설명을 생성하는 경우가 많습니다.

결과적으로, 모델 내부 구조에 대한 접근 없이도 실시간 배포 상황에서 AI 출력 실패와 정책 불일치를 탐지할 수 있는 확장 가능하고 비기계적인 방법이 부족하다는 결정적인 거버넌스 격차가 존재합니다. 기존의 사고 보고 시스템은 사후적이고 선택적이며, 알고리즘 감사(algorithmic auditing)는 일상적인 상호작용을 위한 표준화된 분석 단위를 결여하고 있습니다.

방법론

본 논문은 전문가와 AI 간의 상호작용을 구조화되고 비교 가능한 필드로 압축하여 선제적 위험 탐지를 가능하게 하는 **측정 표준화 프레임워크(Measurement Standardisation Framework)**를 제안합니다. 이 접근 방식은 위험 탐지의 중심을 내부 모델 프로세스에서 관찰 가능한 행동 패턴으로 전환하며, 이는 기계적 불확실성에도 불구하고 인구 집단 수준의 상관관계를 통해 개입의 근거를 찾는 역학(epidemiology, 예: 존 스노우의 식수원 식별 또는 브래드퍼드 힐의 흡연-암 연관성)의 비유를 차용합니다.

핵심 구성 요소: 문법(The Grammar)

이 프레임워크는 상호작용을 포착하기 위해 8가지 필드로 구성된 구조화된 프로토콜을 정의합니다:

1. 미션(Mission): 전문가의 입력에서 추출된 작업(작업 유형 + 주제).
2. 결론(Conclusion): AI가 권고하는 조치(서술형이 아닌 범주형으로 분류).
3. 정당화(Justification): AI가 제공하는 이유(범주형으로 분류).
4. 위험 수준(Risk Level): 결론이 틀렸을 경우 발생할 수 있는 잠재적 위해의 심각성에 기반한 계층화 변수(고/중/저).
5. 정책 정렬 점수(Policy Alignment Score): 기관 또는 규제 정책과의 일치성을 평가하는 3단계 서열 척도(고/중/저).
6. 증거 정렬 점수(Evidential Alignment Score): 정당화에 포함된 사실적 주장이 도메인 증거 기반에 의해 뒷받침되는지 평가하는 3단계 서열 척도.
7. 오버라이드(Override): 전문가가 AI의 결론에 명시적으로 이의를 제기했는지 여부를 나타내는 이진 플래그.
8. 교정 옵션(Corrective Option): 오버라이드 발생 시 전문가가 수정하여 내놓은 결론과 정당화.

LLM-as-Judge 메커니즘

규모 확장을 위해, 본 프레임워크는 정책 및 증거 정렬을 자동으로 점수화하는 LLM-as-Judge를 채택합니다. 블랙박스 모델로 다른 모델을 판단하는 구조적 순환 문제를 해결하기 위해, 프레임워크는 다음과 같은 **제한 조건(bounded conditions)**을 부과합니다:

• 명시적 루브릭 및 앵커링된 척도: 합의를 높이기 위해 앵커링된 3단계 척도 사용.
• 구조화된 사고 사슬(Structured Chain-of-Thought): 판정 모델이 점수를 부여하기 전 루브릭에 따라 단계별로 추론하도록 함.
• RAG 그라운딩(RAG Grounding): 판정 모델의 아첨(sycophancy)과 자기 선호도를 줄이기 위해 특정 정책 및 증거 문서에 근거하도록 함.
• 저온 디코딩(Low-Temperature Decoding): 점수의 안정성과 반복 가능성을 보장하기 위함.

배포 전, 다음 사항을 포함하는 신뢰성 검증 절차가 의무화됩니다:

• 인간-판정자 일치도: 선형 가중 코헨의 카파($\kappa$)로 측정 (목표값 $\ge 0.61$).
• 일관성: 검사-재검사 안정성을 위한 내적 상관 계수(ICC)로 측정 (목표값 $\ge 0.75$).
• 편향 진단: 아첨, 장황함, 자기 선호성에 대한 표적 테스트.

경험적 평가 프로토콜

본 논문은 압축된 문법 필드가 전체 대화 텍스트와 비교하여 위험 탐지를 위한 충분한 예측력을 유지하는지 테스트하는 프로토콜을 명시합니다.

• 설계: 문법 필드로 학습된 분류기($X$)와 "전체 입력" 분류기를 비교하는 비열등성 테스트(non-inferiority test).
• 지표: 정렬된 상호작용과 정렬되지 않은 상호작용을 분리하는 곡선 아래 면적(AUC).
• 마진: 사전 지정된 비열등성 마진 $\delta = 0.05$.
• 추론: 민감도 측정을 위한 쌍별 부트스트랩 추론(10,000회 리샘플링) 및 다중 테스트를 위한 Holm–Bonferroni 교정.
• 정교화: 고정된 테스트 세트에서 비열등성이 충족될 때까지 AUC 격차에 따라 유도되는 반복적 문법 정교화 과정(범주 분할, 루브릭 조정).

주요 기여

1. 개념적 전환: "상관관계 기반 해석 가능성"(correlation-based approach)을 제안된 방식과 구별되는 별도의 범주로서 "대응 기반 해석 가능성"(correspondence-based interpretability)을 도입합니다. 이는 즉각적인 거버넌스를 위해서는 기계적 투명성을 기다리는 것보다 출력 패턴을 관찰하는 것이 더 실행 가능하다는 점을 주장합니다.
2. 측정 표준화: 전문가-AI 대화를 인구 집단 수준의 분석에 적합한 표준화되고 비교 가능한 데이터 단위로 변환하는 특정 문법과 점수 산정 프로토콜을 정의합니다.
3. 거버넌스 신호: 데이터로부터 도출할 수 있는 세 가지 실행 가능한 제도적 신호를 제안합니다:
   • 집계된 정렬 분포: AI 출력이 지속적으로 정렬되지 않는 도메인을 식별.
   • 오버라이드 패턴: 전문가가 AI 권고에 체계적으로 이의를 제기하는 지점을 강조.
   • 교정 옵션 패턴: 전문가가 선호하는 구체적인 근거와 수정된 결론을 드러내어, 향후 모델 튜닝이나 정책 업데이트를 위한 "교정" 데이터셋을 제공.
4. 3단계 경험적 프로그램: 다음의 단계적 연구 경로를 제시합니다:
   • 1단계: 측정 표준화 확립 (LLM 판정자의 신뢰성).
   • 2단계: 거버넌스 신호 검증 (전문가 및 기관에 대한 유용성).
   • 3단계: 결과 연관성 확립 (정렬 점수와 하류 부작용 사건 간의 연결).

결과 및 주장

개념 논문으로서, 경험적 결과는 제시되지 않습니다. 본 논문은 인구 집단 수준의 주장은 결과가 아니라 단계적 연구 프로그램의 대상임을 명시적으로 밝힙니다.

본 논문은 세 가지 구체적이고 테스트 가능한 주장을 합니다:

1. 신뢰성 주장: 제한 조건(루브릭, RAG, 저온 디코딩) 하에서 LLM은 인간 평가자와 비교할 수 있는 신뢰할 수 있고 표준화된 정렬 평가를 생성할 수 있습니다.
2. 거버넌스 주장: 정렬 점수는 배포 중인 전문가에게 즉각적인 신호를 제공하며, 기관이 모델과 도메인 전반의 정렬 패턴을 모니터링할 수 있게 합니다.
3. 역학적 주장: 측정이 표준화되면, 집계된 정렬 점수를 사용하여 하류 결과와의 연관성을 연구할 수 있으며, 이를 통해 기계적 분석이 아닌 상관 변수를 통해 위험을 탐지하는 "AI 역학"을 가능하게 합니다.

의의

본 논문의 의의는 완벽한 해석 가능성이 없는 상황에서 실용적이고 확장 가능한 AI 거버넌스의 경로를 제공한다는 점에 있습니다. AI 위험 탐지를 역학 문제로 취급함으로써 다음과 같은 방법을 제시합니다:

• 사고가 발생한 후가 아니라 **전망적(prospectively)**으로 위험을 탐지.
• 모델 가중치나 내부 상태에 대한 접근 없이도 규모에 맞게(at scale) 운영.
• 전문가의 즉각적인 결정과 장기적인 기관 정책 모두에 정보를 제공할 수 있는 교정 데이터 및 감사 추적 생성.

본 논문은 "노출-도구의 부적절한 유추"(LLM을 판단하기 위해 LLM을 사용하는 것)와 관찰자 효과의 가능성을 포함한 한계를 인정하지만, 제안된 검증 절차와 반복적 정교화가 이러한 타당성 위협을 완화할 수 있다고 주장합니다. 궁극적인 목표는 "AI 역학"이 배포된 AI 시스템을 위한 견고하고 비기계적인 안전 계층으로서 기능할 수 있는 토대를 구축하는 것입니다.