💬 NLP

COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models

COFT는 반사실적 로짓 융합(counterfactual logit fusion)과 정합 교정(conformal calibration)을 결합하여 모델 재학습 없이도 작업 유용성을 유지하면서 대규모 언어 모델의 사고 사슬(chain-of-thought) 추론 과정에 존재하는 사회적 편향을 유의미하게 감소시키는, 학습이 필요 없는 디코딩 단계의 방법론이다.

원저자: Arya Fayyazi, Mehdi Kamal, Massoud Pedram

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arya Fayyazi, Mehdi Kamal, Massoud Pedram

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 똑똑하고 박식한 사서(대규모 언어 모델)가 있다고 상상해 보세요. 이 사서는 당신이 이야기를 쓰고, 질문에 답하거나, 문제를 해결하는 것을 도와줍니다. 이 사서는 인터넷에 있는 수백만 권의 책을 읽었습니다. 매우 해박하지만, 그 책들에 담긴 불공정하고 편향된 고정관념(예를 들어 특정 직업은 남성만을 위한 것이라고 생각하거나, 이름만 보고 사람을 판단하는 것 등)도 함께 흡수했습니다.

당신이 사서에게 답변을 내놓기 전에 "생각을 밖으로 꺼내어 말하라"(Chain-of-Thought 추론)고 요청하면, 사서는 최종 답변은 괜찮아 보일지라도 그 생각하는 과정 속에서 자신도 모르게 불공정한 고정관념을 속삭일 수 있습니다.

COFT(Chain of Fair Thought)는 사서가 생각하는 동안 그 옆에 서 있는 새로운 "교통 경찰" 시스템입니다. 이 시스템은 사서를 다시 훈련시키거나 뇌를 바꾸는 것이 아니라, 실시간으로 사서가 더 공정한 선택을 하도록 부드럽게 유도합니다.

COFT가 어떻게 작동하는지, 창의적인 비유를 사용하여 세 가지 간단한 단계로 나누어 설명하겠습니다.

비유: "더블 체크" 주방

사서가 복잡한 요리(답변)를 준비하는 셰프라고 상상해 보세요. 때때로 레시피는 민감한 주제(특정 국적이나 성별 등)를 나타내는 재료를 요구할 수 있습니다. 만약 셰프가 그 재료를 사용한다면, 요리의 맛이 편향될 수 있습니다.

COFT는 병렬 주방에서 일하는 쌍둥이 셰프 역할을 합니다.

1단계: "눈가리개" 테스트 (Counterfactual Masking)

메인 셰프가 레시피의 다음 단어를 쓰기 전에, COFT는 프롬프트의 "마스킹(가림)" 버전을 만듭니다.

실제 상황: 프롬프트가 "간호사(여성)가 그녀의 회진을 마쳤다..."라고 합니다.
COFT의 마스킹 버전: 민감한 단어인 "여성"을 중립적인 자리 표시자인 **[MASK]**로 대체합니다. 그러면 "간호사( [MASK] )가 그녀의 회진을 마쳤다..."가 됩니다.

이제 시스템은 사서의 뇌를 두 번 실행합니다. 한 번은 실제 단어로, 한 번은 마스킹된 단어로 실행합니다. 이는 셰프에게 "만약 내가 성별을 모른다면, 당신은 여전히 이 다음 재료를 선택하겠습니까?"라고 묻는 것과 같습니다.

2단계: "블렌더" (Logit Fusion)

시스템은 두 가지 잠재적인 다음 단어 목록(실제 프롬프트로부터 나온 것과 마스킹된 프롬프트로부터 나온 것)을 가져와서 함께 섞습니다.

만약 실제 프롬프트가 편향된 단어(예: "간호사" + "그녀")를 강력하게 암시하지만, 마스킹된 프롬프트가 중립적인 단어를 암시한다면, "블렌더"가 이 둘을 혼합합니다.
이를 통해 불공정하고 편향된 옵션은 줄어들고, 중립적인 옵션은 높아지는 절충 목록이 만들어집니다. 이는 강하고 매운 소스를 순한 소스와 섞어서 너무 극단적이지 않은 맛을 내는 것과 같습니다.

3단계: "안전 게이트" (Conformal Filtering)

이 부분이 가장 독특한 부분입니다. COFT는 단순히 추측하는 것이 아니라, Conformal Prediction이라는 수학적 "안전 게이트"를 사용합니다.

주방 문 앞에 서 있는 보안 요정을 상상해 보세요. 이 요정은 미리 계산된 규칙을 가지고 있습니다: "실제 셰프와 마스킹된 셰프 모두가 안전하다고 동의하는 재료만 통과시킨다."
만약 어떤 단어가 편향된 버전에서는 인기가 높지만 중립적인 버전에서는 인기가 없다면, 요원은 그 단어를 차단합니다.
만약 단어가 두 버전 모두에서 인기가 있다면, 통과 승인을 받습니다.

이를 통해 COFT는 다음과 같은 통계적 보장을 할 수 있습니다: "우리는 방금 통과시킨 단어가 프롬프트의 민감한 세부 사항과 상관없이 공정하다는 것을 95% 확신합니다."

이것이 왜 중요한가요?

뇌 수술이 필요 없음: 편향을 수정하는 대부분의 방법은 모델을 "재학습"시켜야 합니다. 이는 마치 사서가 나쁜 습관을 잊기 위해 몇 년 동안 다시 학교에 보내는 것과 같습니다. COFT는 훈련이 필요 없습니다(training-free). 현재 모델이 가진 그대로의 상태에서 작동합니다.
추가적인 뇌가 필요 없음: 어떤 방법들은 편향을 체크하기 위해 두 번째 AI(분류기)를 고용해야 합니다. COFT는 두 번째 AI를 필요로 하지 않습니다. 대신 사서 자신의 "쌍둥이"(마스킹된 버전)를 사용하여 확인 작업을 수행합니다.
좋은 점을 유지함: 논문은 COFT가 편향을 제거하면서(약 30~55% 감소) 답변의 품질을 망치지 않는다는 것을 보여줍니다. 사서는 이전과 마찬가지로 수학 문제를 풀고 좋은 이야기를 쓰는 능력을 그대로 유지합니다.
감사가 가능함: COFT는 모든 단어에 대해 명확한 단계별 결정을 내리기 때문에, 로그를 살펴보고 왜 특정 단어가 선택되었거나 거부되었는지 정확히 알 수 있습니다. 이는 "블랙박스"가 아닙니다.

비용

유일한 단점은 속도입니다. COFT는 모델을 두 번 실행해야 하고(실제 프롬프트 한 번, 마스킹된 프롬프트 한 번), 그 결과를 섞어야 하기 때문에 시간이 조금 더 걸립니다. 대략 요리 과정에 한 단계를 더 추가하는 정도(약 10% 느려짐)입니다. 그러나 논문은 이 작은 비용이 제공하는 안전성과 공정성의 가치만큼 충분히 감수할 만하다고 주장합니다.

요약

COFT는 당신과 AI 사이의 실시간 공정성 필터입니다. 이 시스템은 AI에게 민감한 세부 사항(인종이나 성별 등)이 숨겨진 세상을 상상하게 하고, 그 상상과 현실을 비교하여, 두 세상 모두에서 말이 되는 단어만을 말하도록 허용합니다. 이는 AI의 "사고 과정"이 별도의 재학습이나 추가적인 조력자 없이도 공정함을 유지하도록 보장합니다.

기술 요약: COFT (Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning)

1. 문제 정의

웹 코퍼스로 학습된 대규모 언어 모델(LLM)은 사회적 편향을 내재화하고, 특히 연쇄 사고(Chain-of-Thought, CoT) 생성 과정에서 이를 증폭시키기도 한다. 모델의 최종 출력은 중립적으로 보일 수 있으나, 중간 추론 단계는 토큰 단위로 유해한 연관성을 드러낼 수 있다. 기존의 완화 전략들은 다음과 같은 상당한 한계점을 가진다:

학습 단계 방법론 (예: 미세 조정, RLHF, 데이터 큐레이션): 계산 비용이 많이 들고, 모델 가중치에 대한 접근이 필요하며, 일반 도메인 성능을 저하시키거나 주석 작성자의 편향을 인코딩할 위험이 있다.
추론 단계 스티어링 (예: 보조 분류기 또는 전문가 앙상블 사용): 지연 시간(latency)을 유발하고, 외부 분류기의 사각지대에 의존하며, 엄격한 통계적 보증이 부족하다.
표현 공간 디바이어싱 (예: Nullspace Projection): 전역적이고 프롬프트에 무관한(prompt-agnostic) 교정을 적용하는 경우가 많아, 문맥 의존적인 정당한 의미론을 억제할 수 있으며 비선형적인 편향 발현을 포착하지 못한다.

결정적으로, 현재의 접근 방식들은 디코딩 시점에 단계별 통계적 보증을 제공하지 못한다. 즉, 어떤 토큰을 안전하게 방출할 수 있는지, 혹은 편향의 위험을 통제된 상태로 유지하면서 생성할 수 있는지를 명시하지 못하며, 매 디코딩 단계에서 국소적 반사실적 균등성(프롬프트 내 민감한 구간의 가설적 변화에 따른 출력의 안정성)을 강제하지 못한다.

2. 방법론: COFT

COFT(Chain of Fair Thought)는 고정된 인과적 언어 모델(frozen causal language models)에 대해 반사실적 공정성을 강제하도록 설계된 학습이 필요 없는(training-free), 추론 전용 디코딩 프레임워크이다. 이는 세 가지 뚜렷한 단계로 작동한다:

1단계: 반사실적 마스킹 (Counterfactual Masking)

COFT는 민감한 구간(예: 성별, 인종, 종교 식별자)을 중립적인 센티넬 토큰(예: [MASK])으로 대체하여 입력 프롬프트의 "마스킹된" 버전인 $\hat{p}$ 를 구축한다.

구현: 마스킹 연산자는 결정론적이며 **길이 보존형(length-preserving)**이다. 만약 민감한 구간이 $k$ 개의 토큰으로 토큰화된다면, 이는 $k$ 개의 센티넬 토큰으로 대체된다. 이는 사실적(factual) 브랜치와 마스킹된 브랜치가 절대적 위치에서 완벽하게 정렬되도록 보장하여, 동일한 자기회귀적 접두사(autoregressive prefix) 하에서 동일한 위치의 로짓(logits)을 유효하게 비교할 수 있게 한다.
이중 브랜치 실행: 모델 $f_\theta$ 는 동일한 생성된 접두사 $w_{<t}$ 에 조건화되어, 사실적 프롬프트 $p$ 와 마스킹된 프롬프트 $\hat{p}$ 상에서 병렬로 두 번 실행된다.

2단계: 반사실적 로짓 퓨전 (Counterfactual Logit Fusion)

속성 기반 편향을 감쇄하기 위해, COFT는 사실적( $z^F_t$ ) 브랜치와 마스킹된( $z^{CF}_t$ ) 브랜치의 로짓 분포에 대한 **볼록 보간(convex interpolation)**을 수행한다:
$\tilde{z}_t = (1 - \lambda) z^F_t + \lambda z^{CF}_t$
여기서 $\lambda \in [0, 1]$ 은 조절 가능한 퓨전 파라미터이다.

효과: 이 연산은 두 확률 분포의 기하학적 혼합을 생성한다. 이론적으로, 이는 로그-오즈(log-odds)를 선형적으로 보간하여 모델을 민감한 속성에 대해 "맹목적"으로 만드는 동시에, 분포의 고확률 영역을 보존한다. 이 퓨전은 이후의 필터링 단계가 이미 높은 질량(high-mass) 영역에서 합의된 분포 위에서 작동하도록 하기 위해 인증(certification) 전에 수행된다.

3단계: 이중 브래치 분할 컨포멀 필터링 (Dual-Branch Split-Conformal Filtering)

COFT는 각 단계 $t$ 에서 후보 토큰 집합을 인증하기 위해 분할 컨포멀 예측(split-conformal prediction, CP) 절차를 적용한다.

비정형성 점수 (Nonconformity Score): 각 토큰 $v$ 에 대한 점수는 퓨전된 사실적 분포( $\tilde{\pi}_t$ )와 마스킹된 분포( $\pi^{CF}_t$ ) 모두에서 해당 토큰이 보유한 최소 확률을 기반으로 정의된다:
$s_t(v) = 1 - \min\{ \tilde{\pi}_t(v), \pi^{CF}_t(v) \}$
교정 (Calibration): 서로 겹치지 않는 교정 데이터셋(disjoint calibration set) 상에서, 이러한 점수들의 $(1-\alpha)$ 분위수 $q_t$ 를 계산한다.
인증 (Certification): 테스트 시, 점수가 임계값 이하( $s_t(v) \le q_t$ )인 경우에만 토큰이 후보 집합 $C_t$ 에 포함된다. 이는 해당 토큰이 두 가지 사실적 및 마스킹된 뷰 모두에서 충분한 확률을 가져야 함을 요구하는 것과 같다.
샘플링: 최종 토큰은 인증된 집합 $C_t$ 로 제한된 퓨전 분포 $\tilde{\pi}_t$ 로부터 샘플링된다. 만약 $C_t$ 가 비어 있다면(드문 경우), 결정론적 폴백(예: argmax)이 사용된다.

3. 주요 기여

학습이 필요 없는 공정한 디코딩: COFT는 재학습, 그래디언트 접근, 또는 보조 분류기 없이도 고정된 LM에 대해 공정성을 강제하는 메커니즘을 제공한다.
단계별 주변부 보증 (Per-Step Marginal Guarantees): 이전 방법들과 달리, COFT는 방출된 토큰의 안정성에 대해 분포 무관적(distribution-free)이며 주변부 유효성 보증(교환 가능성 가정 하에)을 제공한다. 이는 실제 다음 토큰이 적어도 $1-\alpha$ 의 확률로 후보 집합에 포함됨을 인증한다.
국소적 반사실적 균등성: 이 방법은 토큰 수준에서 반사실적 공정성을 구체화하여, 프롬프트 내의 민감한 속성이 가설적으로 변경되더라도 디코딩 과정이 안정적으로 유지되도록 보장한다.
이중 브랜치 아키텍처: 로짓을 퓨전하고 두 가지 뷰 모두로부터 공동 지원을 요구함으로써, COFT는 태스크 유용성을 보존하면서 효과적으로 편향을 감쇄한다.

4. 실험 결과

저자들은 6개의 모델(LLaMA-2, Mistral, Mixtral, Qwen2 포함)과 여러 편향 벤치마크(StereoSet, CrowS-Pairs, BBQ, BOLD, Utrecht, COMPAS) 및 표준 유틸리티 태스크(GSM8K, StrategyQA, ARC-easy, PIQA)를 통해 COFT를 평가했다.

편향 완화: COFT는 바닐라 디코딩 대비 편향 지표를 30~55%(중앙값 38%) 감소시켰으며, 강력한 추론 단계 베이스라인(예: Self-Debiased Decoding, DExperts, Dual-Threshold Conformal Decoding)보다 우수한 성능을 보였다. 예를 들어, BBQ 데이터셋에서 편향 감소율은 34~41%에 달했다.
유용성 보존: 추론 및 QA 벤치마크에서의 태스크 정확도는 변화가 없었으며(실행 간 노이즈 범위 내 차이 $\le 0.2$ 포인트), 언어 품질 지표(Perplexity, MAUVE) 또한 바닐라 디코딩과 구별되지 않았다.
효율성: 계산 오버헤드는 캐시된 하나의 추가적인 순방향 패스(forward pass)와 동일한 수준으로 미미하다. 처리량(throughput)은 약 10~25% 감소하며, 피크 메모리 사용량 증가는 무시할 만한 수준이다( $\le 0.8$ GB).
절제 연구 (Ablations): 로짓 퓨전을 제거하면 잔여 편향이 높아졌는데, 이는 퓨전이 속성 기반 로그-오즈를 감쇄하는 핵심 메커니즘임을 확인시켜 준다. 이중 브랜치 컨포멀 필터를 제거하면 반사실적 안정성 보증이 상실된다.

5. 의의 및 주장

본 논문은 COFT를 더 안전한 CoT 생성을 위한 명확하고 감사 가능한 경로로 제시한다. 주요 의의는 막대한 계산 비용이 드는 재학습 없이도 고정된 모델에 대해 검증 가능한 안전 경계를 제공한다는 점에 있다.

감사 가능한 안전성: 단계별 주변부 보증을 제공함으로써, COFT는 실무자가 민감한 도메인(예: 의료, 법률, 채용)에 모델을 배포할 때 정량화된 리스크 측정을 가능하게 한다.
강건성: 이 방법은 분포 변화에 강건하며(밀도 비율에 따라 커버리지가 점진적으로 저하됨), 다양한 모델 아키텍처 전반에서 성능을 유지한다.
한계점: 저자들은 알고리즘적 개입이 만병통치약은 아니라고 솔직하게 언급한다. 보증은 특정 민감한 속성의 정의와 교정 데이터와 테스트 데이터 간의 교환 가능성 가정에 의존한다. 또한, 이중 브랜치 디코딩은 추론 지연 시간을 발생시키며, 이는 편향 감소의 이득과 함께 고려되어야 한다. 이 방법은 추론 궤적(reasoning trace) 자체가 감사되어야 하는 시나리오에 가장 적합하다.

요약하자 تع, COFT는 컨포멀 예측 이론에 근거한 가벼운 학습 불필요 절차를 사용하여, 유용성을 보존하면서 LLM 추론 궤적의 사회적 편향을 크게 줄일 수 있음을 입증한다.