기술 요약: Chain-of-Models: 편향에 강건한 LLM 판사를 위한 교차 모델 감사(Cross-Model Auditing)

1. 문제 정의

대규모 언어 모델(LLM)은 금융 및 법률과 같은 고위험 영역에서 자동화된 판사로서 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델들은 대역폭 효과(bandwagon), 권위(authority), 주의 분산(distraction), 아첨(sycophancy)과 같은 체계적인 인지 편향을 보이며, 이는 신뢰성을 저해합니다. 기존의 완화 전략은 다음과 같은 상당한 한계에 직면해 있습니다:

• 프롬프트 기반 디바이어싱(예: 편향 경고, 거절 템플릿)은 취약하며 다양한 편향 유형에 대해 실패하는 경우가 많습니다.
• 인간 평가는 신뢰할 수 있지만 생산 규모에 맞춰 확장하기 어렵습니다.

본 연구가 다루는 핵심 질문은, 하나의 LLM이 원래의 모델을 대체하지 않고도 다른 LLM의 판단을 자동으로 감사하여 편향을 수정할 수 있는가 하는 점입니다. 중요한 설계 선택 사항은 감사자의 정체성입니다: 감사자는 동일한 모델이어야 하는가, 동일 계열의 모델이어야 하는가, 아니면 다른 계열의 모델이어야 하는가?

2. 방법론: Chain-of-Models (CoM)

저자들은 두 번째 모델($M_2$)이 첫 번째 모델($M_1$)의 추론 과정과 답변을 검토한 후 최종 판단을 내리는 자동화된 감사 파이프라인인 **Chain-of-Models (CoM)**를 제안합니다.

2.1 프레임워크 설계

• 파이프라인: $M_1$은 입력 $(I, Q)$로부터 추론 과정 $S_1$과 답변 $A_1$을 생성합니다. $M_2$는 원본 입력과 $S_1$, $A_1$을 전달받아 최종 판단 $A_{final}$을 생성합니다.
• 감사자 제약 조건: 감사자에게 편향을 찾으라는 명시적인 지시를 내리거나 편향 관련 지침을 주지 않습니다. 배포의 현실성을 유지하기 위해 편향 인식은 감사자의 프롬프트 외부의 라우팅 레이어에서 처리됩니다.
• 교차 계열 가설: 개인은 자신보다 타인의 편향을 더 잘 인지한다는 심리학적 개념인 "편향 맹점(bias blind spot)"과 모델이 자신의 생성물을 선호한다는 최근의 연구 결과에 근거하여, 저자들은 다른 모델 계열의 감사자가 동일 계열이나 자기 자신을 감사하는 모델보다 편향된 추론에 더 잘 이의를 제기할 가능성이 높다는 가설을 세웠습니다.

2.2 실험 설정

• 모델: 다양한 훈련 계보, 정렬 전략(RLHF, DPO) 및 아키텍처를 나타내는 6개의 뚜렷한 계열(Qwen, GPT, DeepSeek, GLM, MiniMax, Kimi)에서 추출한 9개의 모델.
• 편향: 네 가지 인지 편향: 대역폭 효과(Bandwagon), 권위(Authority), 주의 분산(Distraction), 아첨(Sycophancy).
• 데이터셋: 두 개의 병렬 트랙:
  1. 사실적(Factual): MMLU-Pro (수학, 화학, 역사, 심리학).
  2. 주관적(Subjective): DPO 선호도 데이터셋 (Emerton, Orca, Py, Truthful).
• 지표: 편향이 주입된 상황에서의 정답 일치 비율을 측정하는 편향 정확도($Acc_{bias}$).

3. 주요 결과

3.1 단독 저항성 $\neq$ 감사 유효성

본 논문은 모델이 단독으로 답변할 때의 편향 저항력(단독 저항성)이 다른 모델의 편향을 수정하는 능력(감사 유효성)을 예측하지 못한다는 점을 입증합니다.

• 예시: Kimi-K2.5는 대역폭 효과, 권위, 주의 분산 편향에 대해 가장 높은 단독 저항성을 보입니다. 그러나 Qwen2.5-72B의 감사자로 결합되었을 때, 동일한 편향들에 대해 가장 낮은 체인 정확도(예: 대역폭 효과에서 0.400)를 기록했습니다.
• 시사점: 단독 저항성만을 기준으로 감사자를 선택하는 것은 경험적으로 잘못된 접근입니다.

3.2 감사자의 정체성은 편향 특이적임

모든 편향 유형에 대해 압도적인 성능을 보이는 단일 감사자는 존재하지 않습니다. 최적의 감사자는 직면한 특정 편향에 따라 달라집니다.

• GPT-4o: 대역폭 효과, 권위, 주의 분산에 대해 가장 강력한 감사자입니다.
• GLM-5: 아첨(Sycophancy) 편향에 대해 가장 강력한 감사자입니다 (GPT-4o가 이 특정 편향에서 노-오딧(no-audit) 베이스라인보다 성능이 떨어지는 것과 대조적임).
• 태스크 계열 이질성: 최적의 감사자는 태스크 유형(사실적 vs 주관적)에 따라서도 달라집니다. 예를 들어, 사실적 아첨에는 GLM-5가 승리하지만, 주관적 아첨에는 GPT-4o가 승리합니다.

3.3 교차 계열 감사가 동일 계열보다 우수함

동일 계열 감사(예: Qwen-7B $\to$ Qwen-72B)는 단일 모델 베이스라인보다 미미한 개선만을 제공합니다. 반면, 교차 계열 체인은 노-오딧 베이스라인보다 일관되게 높은 정확도를 달로하며, 주관적 아첨의 경우 최대 +27.5 퍼센티지 포인트의 상승을 보였습니다.

4. 제안된 솔루션: 편향별 감사자 선택

연구 결과에 기반하여, 저자들은 편향별 감사자 선택 규칙을 도입합니다. 알려진 편향 유형 $b$가 주어지면, 시스템은 다음 점수 함수를 최대화하는 모델 $M_i$를 후보 풀에서 선택합니다:

$$\text{score}(M_i | M_1, b) = \alpha \cdot d(M_1, M_i) + \beta \cdot r(M_i, b) + \gamma \cdot e(M_1, M_i, b)$$

여기서:

• $d(M_1, M_i)$: 기능적 다양성 (모델 간의 LLM-DNA 거리).
• $r(M_i, b)$: 편향별 단독 저항성 (편향 $b$에 대한 $M_i$ 단독 정확도).
• $e(M_1, M_i, b)$: 보정된 감사 유효성 (홀드아웃 캘리브레이션 스플릿에서 추정된 $M_1 \to M_i$의 경험적 체인 정확도).

선택기(Selector)의 결과:

• 편향된 4개 슬라이스 전체에 대해 0.884의 정확도를 달성했습니다.
• 이는 가장 강력한 고정 감사자인 GPT-4o 상시 적용(0.824) 및 노-오딧 베이스라인(0.805)을 능가합니다.
• 이 이득은 주로 GPT-4o 사용 시 발생하는 성능 저하를 피하고, 아첨 쿼리를 GLM-5로 올바르게 라우팅함으로써 얻은 결과입니다.

5. 의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 프레임워크: Chain-of-Models 프레임워크를 통한 동일 계열 대 교차 계열 감사의 평가.
2. 분리(Decoupling): 단독 편향 저항성과 감사 유효성이 서로 다른 속성임을 입증하였으며, 단일 감사자가 모든 편향 유형을 지배할 수 없음을 보여줌.
3. 선택 규칙: 기능적 다양성, 단독 저항성, 보정된 유효성을 결합한 편향별 감사자 선택 규칙을 도입함. 이 규칙은 어떤 고정된 감사자 구성보다 뛰어난 성능을 보임.
4. 리소스: 재현성을 위해 데이터, 구성, 쌍별 LLM-DNA 거리 및 경량 에이전트 스킬을 공개함.

저자들은 LLM 생태계의 이질성을 무시하고 단일 감사자에 의존하기보다, 편향별 감사자 선택을 위한 리소스로 활용해야 한다고 결론짓습니다.

6. 한계점

논문은 다음과 같은 범위 제한을 인정합니다:

• 지연 시간(Latency): 순차적 감사는 플래그가 지정된 쿼리의 응답 시간을 두 배로 늘립니다.
• 일반화: 실험은 디코더 전용(decoder-only) 인과적 언어 모델로 제한되었습니다. 검색 증강(RAG) 또는 멀티모달 판사는 테스트되지 않았습니다.
• 편향 탐지: 현재 방식은 편향 유형이 인퍼런스 시점(라벨 또는 컨텍스트를 통해)에 알려져 있다고 가정합니다. 템플릿 없이 임의의 사용자 프롬프트에서 편향을 추론하는 것은 향후 과제로 남겨두었습니다.
• 언어/도메인: 모든 데이터셋은 영어이며, 다른 언어나 전문 분야(법률, 임상 등)로의 전이에 대해서는 평가되지 않았습니다.