Beyond Post-hoc Explanation: Toward Glassbox AI via Probabilistic Mediation

기술 요약: 사후 설명(Post-hoc Explanation)을 넘어: 확률적 매개(Probabilistic Mediation)를 통한 글래스박스(Glassbox) AI를 향하여

문제 제기
본 논문은 고위험 기관 설정(예: 공공 행정, 의료, 법률 추론)에서 인프라로서 대규모 언어 모델(LLM)을 배치할 때 발생하는 중대한 거버넌스 과제를 다룬다. 핵심 문제는 LLM 추론의 불투명성으로, 이는 의사결정을 법적 및 제도적으로 수용 불가능하게 만든다. 저자들은 기존의 '사후(post-hoc)' 설명 방식(예: LIME, SHAP)이 이러한 맥락에서 구조적으로 부적절하다고 주장한다. 사후 방식은 세 가지 구체적인 실패 양상을 보인다:

1. 불안정성(Instability): 설명이 미세한 입력 변화에 따라 임의로 변하며, 일관된 추론을 제공하지 못한다.
2. 비쟁송성(Non-contestability): 설명이 별도의 메커니즘에 의해 생성된 근사치이기 때문에, 실제 모델의 추론 과정과 공식적인 관계를 결여하며, 이로 인해 이해관계자가 진정한 이의를 제기하는 것을 방해한다.
3. 책임의 간극(The Accountability Gap): 사후 방식은 영향력 있는 특징(feature)은 식별하지만, 예측이 도메인 지식, 규범적 제약 또는 명시적 표준과 일치하는지 검증하지는 못한다.

논문은 문제의 근본 원인이 설명의 부족이 아니라, 시스템 내부의 '구조화된 추론'이 결여되었기 때문이라고 상정한다.

방법론: 글래스박스(Glassbox) 프레임워크
저자들은 책임을 '사후(post-hoc)'가 아닌 '사전(ante-hoc)'으로 전환하는 새로운 건축적 패러다임인 글래스박스 프레임워크를 제안한다. 핵심 메커니나즘은 생성 모델을 위한 투명한 매개 계층으로서 **베이지안 네트워크(Bayesian Networks, BNs)**를 사용하는 것이다.

이 아키텍처는 세 개의 수직적 기능 계층으로 구성된다:

1. 거버넌스 계층(The Governance Layer): 도메인 전문가와 법적 권위자가 현재의 제도적 표준에 기반하여 BN 구조(변수, 유향 비순환 그래프/DAG 인과 구조, 사전 분포)를 지정하는 제도적(비계산적) 계층이다. 이 계층은 구조적 변경이 승인되고 문서화되도록 보장하며 감사 로그 및 업데이트 프로토콜을 관리한다.
2. 추론 계층(The Inference Layer): LLM과 BN이 반복적으로 상호작용하는 기술적 핵심부이다.
   • LLM은 비정형 입력을 초기 파싱하여 BN 변수에 대한 후보 할당을 제안한다.
   • 이러한 제안은 **의미론적 번역 인터페이스(semantic translation interface)**를 통과하며, 자연어를 BN의 이산적이고 형식적으로 명시된 변수 공간으로 매핑한다.
   • BN은 전체 네트워크가 아닌 문맥에 적합한 서브그래프(subgraph)를 활성화하여 확률적 추론을 수행한다.
   • 일관성 검사(Consistency Checking): BN은 LLM의 할당을 인코딩된 도메인 구조와 대조한다. 만약 할당이 비논리적이라면(예: 상충하는 증거 존재), BN은 LLM에 타겟팅된 재질의(re-query)를 생성한다. 이 루프는 일관된 인스턴스화가 달성되거나 구조적으로 유의미한 실패 신호가 발생할 때까지 지속된다.
   • BN은 사후 분포와 전체 추론 궤적(inference trace)을 출력하며, 이는 LLM에 의해 다시 자연어로 렌더링된다.
3. 책임 계층(The Accountability Layer): 이 계층은 전체 추론 궤적을 제도적 검토, 항소 및 이의 제기를 위해 공개한다. 궤적이 사전(ante-hoc) 구조의 직접적인 기록이기 때문에, 이해관계자는 특정 노드, 조건부 의존성 또는 거버넌스 결정에 대해 이의를 제기할 수 있다.

주요 기여
본 논문은 네 가지 주요 기여를 한다:

1. 개념적 아키텍처: 글래스박스 프레임워크를 설명 가능한 AI(XAI) 및 뉴로-심볼릭(neuro-symbolic) 접근 방식과 구별되는, 책임 있는 생성형 AI를 위한 개념적 아키텍처로서 공식적으로 정의하고 특징짓는다.
2. BN-LLM 인터페이스: LLM과 BN 사이의 인터페이스를 사후 설명과는 별개의 독립적인 과학적 객체로 정의한다. 이 인터페이스는 분포적이고 암묵적인 LLM 표현을 이산적이고 구조화된 BN 표현으로 매핑해야 하는 핵심적인 기술적 과제로 식별된다.
3. 운영적 시연: 혜택 자격 심사 시나리오를 통한 구조화된 사고 실험을 통해 프레임워크의 운영적 특성을 보여준다. 이는 시스템이 어떻게 의미론적 모호성을 처리하고, 불일치(예: 고용 상태와 소득 신호 간의 충돌)를 탐지하며, 노드 단위의 쟁송이 가능한 감사 가능한 궤적을 생성하는지 입증한다.
4. 연구 과제: 프레임워크를 규모 있게 실현하기 위해 해결해야 할 다섯 가지 기초적 과제를 제시한다:
   • 의미론적 접지(Semantic Grounding): 문맥 의존적인 자연어와 문맥 독립적인 확률 변수 사이의 간극을 메우는 것.
   • 규범적 도메인에서의 구조 학습: 순수하게 통계적인 것이 아니라, 데이터와 일치하면서도 규범적으로 방어 가능한(법적/윤리적) DAG를 학습하거나 이끌어내는 방법 개발.
   • 확률적 인터페이스: BN의 사전 분포를 보존하기 위해 "하드 증거(hard evidence)" 대신 "가상 증거(virtual evidence)"를 활용하여, LLM의 토큰 분포와 BN 조건부 확률 테이블 사이의 원칙적인 수학적 매핑을 구축하는 것.
   • 인간 참여형 거버넌스(Human-in-the-Loop Governance): 전문가 간의 이견, 비기술적 행위자에 의한 감사, 승인된 모델 업데이트를 위한 공식적인 프로토콜 수립.
   • 확장성 및 일반화: 메타 수준의 구조나 전이 메커니즘이 프레임워크를 다양한 도메인(예: 혜택 자격 심사에서 의료 트리아지(triage)로)에 걸쳐 일반화할 수 있는지 조사.

결과 및 주장
본 논문은 완전히 구현된 시스템이나 경험적 실험 결과를 제시하지 않는다. 대신 이론적 및 아키텍처적 분석을 제공한다.

• 이론적 결과: 저자들은 글래스박스 프레임워크가 아키텍처로부터 직접 유도된 네 가지 핵심 속성을 보유하고 있음을 입증한다: 구조의 투명성(추론 구조가 추론 전에 검사 가능함), 출력의 쟁송 가능성(특정 노드/의존성을 대상으로 이의 제기 가능), 형식적 불확실성 정량화(점 예측이 아닌 고유한 확률 분포 제공), 모듈성(일반 아키텍처를 변경하지 않고 도메인 특화 지식을 업데이트 가능).
• 사례 연구 분석: 혜택 자격 시나리오에서, 프레임워크는 구조적 비일관성(예: 실업 상태에 대한 높은 확신 vs 소득의 증거)을 탐지하고 타겟팅된 재질의를 트리거하는 과정을 보여주며, 결과적으로 법적 조건과 명시적으로 연결된 궤적을 생성함을 보여준다. 이는 불안정하고 쟁송이 불가능한 요약을 생성하는 표준 LLM 파이프라인과 대조된다.

의의 및 범위
본 논문은 글래스박스 프레임워크가 근본적으로 책임 있는 AI 시스템을 향한 "원칙적인 경로"라고 주장한다. 그 의의는 불투명한 모델을 설명하는 데 집중하는 것에서 벗어나, 추론 구조 자체가 본질적으로 검사 가능하고 거버넌스의 대상이 되는 시스템을 설계하는 것으로 초점을 전환하는 데 있다.

저자들은 자신의 주장에 대해 겸허한 태도를 취하며, 이 프레임워크가 완성된 시스템이 아닌 하나의 "연구 방향"임을 명시적으로 밝힌다. 이들은 프레임워크의 실현이 언어와 확률 사이의 '의미론적 정렬' 및 '확률적 거버넌스'의 형식화와 같은 열린 과학적 문제들을 해결하는 데 달려 있음을 강조한다. 저자들은 사후 설명이 구조화되고 책임 있는 추론을 대체할 수 없다면, LLM을 고위험 인프라로 전환하는 것은 법적, 윤리적으로 여전히 위태로운 상태로 남을 것이라고 주장한다.