기술 요약: LLM 추론의 편향 수정을 위한 적응형 트리거링 (Adaptive Triggering)

문제 정의

사고의 사슬(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만, 특정 실패 모드를 유발한다: 인구통계학적 고정관념이 중간 추론 단계에서 나타나고 전파될 수 있으며, 이는 최종 결론이 겉으로는 중립적으로 보이더라도 결과에 영향을 미칠 수 있다. 기존의 편향 완화 전략은 근본적인 타이밍 딜레마에 직면해 있다. 사후 처리 방식(예: 공정성 보상 모델)은 완료된 추론 사슬을 평가하지만, 편향된 추론이 이미 전파된 이후에는 궤적을 수정할 수 없다. 반대로, 생성 중에 개입하는 추 inference-time 개입은 너무 일찍 또는 너무 빈번하게 발생할 경우 유효한 추론 과정을 방해할 위험이 있다.

현재의 "고정 스케줄" 방식(정해진 단계에서 개입하는 방식)은 이러한 결정 문제를 피할 수는 있지만 적응성이 부족하다. 즉, 특정 추론 궤적이 주어진 시점에 실제로 교정을 필요로 하는지를 판단할 수 없다. 이는 개입이 너무 늦으면 편향이 고착화되는 것을 허용하고, 너무 자주 개입하면 유효한 추론 경로의 성능을 저하시키는 트레이드오프를 초래한다. 핵심 과제는 언제 발전하는 추론 궤적이 개입을 정당화할 만큼 충분한 증거를 제공하는지 결정하는 것이다.

방법론: 적응형 트리거링 (Adaptive Triggering)

저자들은 개입 결정을 온라인 변화점 탐지(online change-point detection) 문제로 공식화하는 적응형 트리거링 프레임을 제안한다. 이 시스템은 추론을 특징짓는 *신호(signal)*와 개입을 트리거하는 *결정 규칙(decision rule)*을 분리한다.

1. 제어 루프 아키텍처

이 프레임워크는 다음과 같이 작동하는 공유 제어 루프(그림 1)를 통해 작동한다:

• 단계별 신호 ($b_t$): 각 추론 단계 $t$에서, 편향 위험 신호 $b_t \in [0, 1]$가 계산된다. 이 신호는 근거 없는 고정관념 의존의 증거를 나타낸다.
• CUSUM 통계량: 신호는 누적 합(Cumulative Sum, CUSUM) 통계량을 업데이트한다:
  $$S_t = \max(0, S_{t-1} + b_t - k)$$
  여기서 $k$는 슬랙(slack) 파라미터이다.
• 트리거링 조건: 누적된 통계량 $S_t$가 보정된 임계값 $h$를 초과할 때($S_t > h$)만 개입이 주입된다.
• 쿨다운 (Cooldown): 트리-거링이 발생하면, 통계량은 계속 업데이트되지만 트리거링은 비활성화되는 1단계 쿨다운이 강제된다.
• 개입: 트리거가 발동되면, 다음 단계를 수행하기 전에 궤적을 수정하기 위한 타겟형 성찰(reflection) 프롬프트가 주입된다.

2. 신호 변체 (Signal Variants)

이 프레임워크는 서로 다른 모델 접근 수준에 따라 배포할 수 있도록 두 가지 distinct한 신호 유형을 지원한다:

• 화이트박스 신호 (White-Box Signal): 생성기의 내부 다음 토큰 확률로부터 도출된다. 이는 고정관념과 일치하는 답변($s$)에 대한 상대적 선호도와 "정보 부족" 답변($u$)에 대한 선호도를 계산한다:
  $$b_t = \max(0, p_t(s) - p_t(u))$$
  이를 위해서는 출력 로짓(logits)에 대한 접근 권한이 필요하다.
• 블랙박스 신호 (Black-Box Signal): LLM-as-a-judge 패러다임을 통해 얻어진다. 별도의 판사 모델이 현재 추론 단계를 명시된 증거 대비 인구통계학적 고정관념에 대한 의존도를 기준으로 점수(0–10)를 매긴다. 이 점수는 $[0, 1]$로 정규화된다. 이 방식은 내부 확률을 사용할 수 없는 호스팅 API 환경에서도 작동한다.

3. 보정 (Calibration)

파라미터 $(k, h)$는 고정되지 않으며, 홀드아웃 데이터(held-out data)를 사용하여 각 신호 유형에 대해 별도로 보정된다. 이 보정은 다음과 같은 다운스트림 목적 함수를 최적화한다:
$$\text{Score} = \text{Accuracy}(C_{dis}) - \text{BiasRate}(C_{amb}) - \lambda \cdot \text{NonCompletion}(C)$$
이 목적 함수는 모호성이 해소된 문맥에서의 정확도를 우선시하고, 모호한 문맥에서의 편향을 최소화하며, 생성을 단순히 중단시키는 공격적인 트리거링을 방지하기 위해 미완료(non-completion)에 대해 페널티를 부여한다.

주요 기여

1. 증거 기반 개입 공식화: 논문은 미드-제너레이션(mid-generation) 편향 수정을 순차적 결정 문제로 공식화하여, 모니터링 신호와 트리거링 메커니즘을 분리한다. 이를 통해 생성 모델을 수정하지 않고도 동일한 제어 루프가 화이트박스 및 블랙박스 신호를 모두 지원할 수 있게 한다.
2. 부수적 비용 감소: 저자들은 적응형 트리거링이 고정 스케줄링의 "부수적 비용(collateral cost)"을 줄인다는 것을 입증한다. gpt-4o-mini에서 적응형 블랙박스 트리거링은 고정 간격 개입으로 인해 발생하는 대부분의 정확도 손실을 회복하면서도 훨씬 적게 개입한다.
3. 신호의 한계 식별: 연구는 신뢰도 기반(화이트박스) 트리거링의 구조적 한계를 밝혀냈다. 적응형 타이밍은 효과적이지만, 정렬되지 않은 신호를 보완할 수는 없다. 화이트박스 신호는 근거 없는 고정관념 의존과 고정관념에 부합하는 유효한 증거 기반 추론을 구분하지 못한다.
4. 비용 분석: 논문은 제한된 추론 예산 하에서 개입의 별도 비용으로서 **미완료(non-completion)**를 식별한다. 개입은 추론 단계를 소비하며, 이는 모델이 최종 답변을 생성하기 전에 단계 제한(step cap)에 도달하게 만들어, 종종 정확도 저하로 오인되는 비용을 발생시킨다.
5. 데이터셋 수정: 저자들은 BBQ(Bias Benchmark for QA) 데이터셋에서 이전에 편향 점수를 과소평가하게 만들었던 네 가지 기록되지 않은 레이블 매칭 불일치를 식별하고 수정하였다.

실험 결과

실험은 7개의 오픈 웨이트 모델(Qwen, Llama, Mistral, Gemma, DeepSeek 변체 포함)과 호스팅된 gpt-4o-mini API를 대상으로 BBQ 데이터셋에서 수행되었다.

• 블랙박스 성능 (호스팅 모델): gpt-4o-mini에서 적응형 블랙박스 트리거링은 모호성이 해소된 항목에 대해 **90.1%**의 정확도를 달着하여, 고정 간격 개입(92.1%에서 82.9%로 하락)으로 인한 9.2 퍼센트 포인트의 정확도 저하를 대부분 회복했다. 결정적으로, 이는 고정 스케줄의 1.00회 대비 0.60회의 개입만으로 달성되었다. 이 결과는 독립적인 판사 모델을 사용했을 때도 유지되었으며, 이는 이 이점이 단순히 자기 선호도(self-preference)에 의한 것이 아님을 확인해 준다.
• 화이트박스 성능 (오픈 웨이트 모델): 6개의 오픈 웨이트 모델 전반에 걸쳐, 화이트박스 신호는 모든 모델에서 모호한(ambiguous) 항목(고정관념이 유일한 답변 경로인 경우)에 대한 정확도를 개선했다. 그러나 6개 중 5개 모델에서 모호성이 해소된(disambiguated) 항목에 대한 정확도를 감소시켰다.
  • 원인: 화이트박스 신호($p_t(s) - p_t(u)$)는 모델이 고정관념에 의존하는 것과, 고정관념과 일치하는 증거를 올바르게 사용하는 것을 구분하지 못한다. 결과적으로 유효한 추론 경로에서도 불필요하게 트리거가 발동되어 올바른 답변을 방해한다.
• 신호 vs 타이밍: 결과는 CUSUM을 통한 "언제 개입할 것인가"의 문제 해결이 "무엇에 개입할 것인가"를 식별하지 못하는 신호를 보완할 수 없음을 나타낸다.
• 미완료 비용: 추론 튜닝된 모델(예: DeepSeek-R1-Distill)에서 개입은 미완료율을 증가시켰으며(발생된 항목의 최대 8.5%), 이는 교정과 생성 능력 사이의 트레이드오프를 강조한다.

의의 및 주장

본 논문은 효과적인 인퍼런스 타임 편향 수정이 개입의 타이밍과 트리거에 사용되는 증거의 질 모두에 결정적으로 달려 있다고 주장한다.

• 적응형 vs 고정형: 적응형 트리거링은 편향을 보이지 않는 궤적에 개입하는 것을 피함으로써 유효한 추론 경로의 정확도를 보존하기 때문에 고정 스케줄보다 우월하다.
• 신호 정렬: 주요 발견은 잘 보정된 트리거라도 정렬되지 않은 신호를 고칠 수는 없다는 것이다. 화이트박스 신호가 "근거 없는 고정관념 의존"과 "고정관념에 부합하는 증거 기반 추론"을 구분하지 못하는 능력은 과잉 교정을 초래한다.
• 배포 유연성: 이 프레임워크는 오픈 웨이트 모델(화이트박스 신호 활용)과 호스팅 API(블랙박스 판사 활용) 모두에 대해 편향 완화를 가능하게 하지만, 신호의 선택에 따라 모호성 해소와 모호성이 해소된 정확도 사이의 트레이드오프가 결정된다.

저자들은 적응형 타이밍이 개입 횟수를 줄여주기는 하지만, 근본적인 한계는 편향과 유효한 추론을 구분하는 신호의 능력에 있다고 결론짓는다. 그들은 추론 타임 편향 완화에 대한 추가 연구를 촉진하기 위해 수정된 BBQ 스코어링 로직과 코드베이스를 공개한다.