💬 NLP

Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

이 논문은 체인 오브 씽킹 (CoT) 의 충실도 평가 결과가 단일 지표가 아닌 측정 방법 (분류기) 에 따라 크게 달라지며, 서로 다른 분류기를 사용하면 모델 순위가 뒤바뀌고 통계적으로 유의미한 불일치가 발생함을 12 개 모델에 대한 대규모 실험을 통해 입증했습니다.

원저자: Richard J. Young

게시일 2026-03-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Richard J. Young

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 핵심 비유: "사과를 어떻게 재는가?"

생각해 보세요. 사과 한 개를 가지고 "이 사과가 얼마나 달까요?"라고 묻는 상황을 상상해 봅시다.

방법 A (단순 계량기): 사과를 저울에 올립니다. 무게만 재고 "100g 이니까 100% 달다"라고 결론 내립니다. (문자 그대로 '사과'라는 글자가 있는지 확인하는 방식)
방법 B (미식가): 사과를 잘게 썰어 맛을 보고, "아, 이 사과는 당도가 높지만 식감이 좀 질겨서 80% 정도만 달다"라고 결론 내립니다. (사과가 실제로 맛에 영향을 줬는지 분석하는 방식)
방법 C (전문가): 사과를 보고 "이건 사과의 맛을 내기 위해 인공 감미료를 넣은 거야, 진짜 사과가 아니야"라고 결론 내립니다. (사과가 진짜 원인인지, 아니면 그냥 장식품인지 판단하는 방식)

이 세 가지 방법은 모두 같은 '사과'를 재고 있지만, 결과값이 100, 80, 60 으로 완전히 다릅니다.

이 논문은 LLM 의 '생각 과정 (Chain-of-Thought)'을 평가할 때 똑같은 일이 일어난다고 말합니다.

🕵️‍♂️ 이야기의 주인공들

이 연구는 12 가지 다른 AI 모델들이 힌트 (오답으로 이끌기 위한 속임수) 를 받았을 때, 어떻게 반응하는지 10,000 번 이상의 실험을 했습니다. 그리고 이 결과를 판단하는 **세 명의 심판 (클래식파)**을 세웠습니다.

심판 1 (단순 검색 로봇): "힌트와 관련된 단어가 생각 과정에 한 번이라도 나왔으면 '충실함 (Faithful)'!"
- 예: "교수님이 B 라고 했어"라는 문장이 있으면 무조건 O.
심판 2 (로봇 + AI 팀): 검색 로봇이 못 찾은 건, 다른 AI 들이 모여서 "이게 진짜 힌트 때문일까?"를 투표로 결정합니다.
심판 3 (클래식한 전문가): "단어가 나왔다고 해서 다인 건 아니야. 그 힌트가 진짜 답을 결정하는 핵심 원인이었나?"를 따집니다.
- 예: "교수님이 B 라고 했지만, 내가 다시 계산해보니 B 가 맞네"라고 썼다면, 전문가 심판은 "아, 힌트 때문이 아니라 내 계산 때문이야"라고 보고 X를 칩니다.

📊 충격적인 결과: "심판에 따라 순위가 뒤바뀐다"

세 심판은 똑같은 10,000 개의 데이터를 봤지만, 결과는 완전히 달랐습니다.

전체적인 충실도 점수:
- 심판 1: 74.4% (가장 높게 평가)
- 심판 2: 82.6% (가장 높게 평가)
- 심판 3: 69.7% (가장 낮게 평가)
- 즉, 같은 모델이 심판에 따라 13% 포인트나 점수가 달라집니다.
모델 순위가 뒤바뀐 사례:
- 어떤 모델 (Qwen3.5) 은 심판 2 에서는 1 등을 했지만, 심판 3 에서는 7 등으로 떨어졌습니다.
- 또 다른 모델 (OLMo) 은 심판 2 에서는 9 등이었는데, 심판 3 에서는 3 등으로 뛰어올랐습니다.

결론: "어떤 AI 가 가장 똑똑하고 충실한가?"라는 질문에 답하려면, 누가 심판인지를 먼저 알아야 합니다. 심판이 누구냐에 따라 1 등도 7 등이 될 수 있습니다.

🧩 왜 이런 일이 일어날까요? (핵심 원인)

이 차이는 실수가 아니라, **'무엇을 충실하다고 정의하느냐'**의 문제입니다.

단순 검색 로봇: "힌트 단어가 **언급 (Mention)**되었는가?"를 봅니다.
전문가 심판: "힌트가 **진짜 원인 (Dependence)**이 되었는가?"를 봅니다.

실제 사례:

"교수님이 B 라고 했어. 하지만 내가 화학 성분을 분석해보니 역시 B 가 맞네."

로봇 심판: "교수님"이라는 단어가 나왔으니 O (충실함).
전문가 심판: 모델이 스스로 분석해서 B 를 결론냈지, 교수님 말만 믿은 게 아니야. 힌트는 그냥 장식품이었어. X (비충실함).

이런 '단순 언급'과 '진짜 영향력' 사이의 간극이, 평가 결과를 완전히 뒤집어 버린 것입니다.

💡 우리가 무엇을 배워야 할까?

이 논문의 저자는 우리에게 이렇게 말합니다:

하나의 숫자를 맹신하지 마세요. "이 모델은 90% 충실하다"라고만 말하는 건, "이 사과는 100g 이다"라고만 말하는 것과 같습니다. 어떤 저울로 잰 건지 알려주지 않으면 의미가 없습니다.
평가 방법도 공개해야 합니다. AI 모델을 평가할 때, "어떤 심판 (클래식파) 을 썼는지"를 반드시 밝혀야 합니다.
범위를 알려주세요. "충실도는 70% 에서 80% 사이일 수 있다"라고 **범위 (Range)**로 보고하는 것이 훨씬 정확합니다.

🎁 한 줄 요약

"AI 의 생각 과정을 평가할 때, '단순히 힌트 단어가 나왔는지' 보는지, '힌트가 진짜 답을 바꿨는지' 보는지에 따라 결과가 완전히 달라집니다. 따라서 어떤 AI 가 더 낫다고 말하려면, 어떤 기준으로 잰 건지 먼저 말해야 합니다."

이 논문은 AI 연구계에게 **"단 하나의 정답 숫자를 찾기보다, 측정 방법의 다양성을 인정하고 투명하게 공개하자"**고 경고하는 중요한 메시지입니다.

1. 연구 배경 및 문제 제기 (Problem)

최근 체인 오브 씽킹 (CoT) 모델의 '충실도 (Faithfulness)' 평가 연구들은 모델이 힌트 (오답으로 유도하는 정보) 를 얼마나 인정하는지 단일 집계 수치 (예: "DeepSeek-R1 은 39% 만 인정함") 로 보고하는 경향이 있습니다. 이는 충실도가 모델의 고유하고 객관적인 속성인 것처럼 오해를 불러일으킵니다.

하지만 이 논문은 충실도 측정 결과가 사용하는 '분류기 (Classifier)'의 정의와 엄격도에 따라 극적으로 달라진다는 사실을 증명합니다. 서로 다른 분류 방식을 사용할 경우 동일한 모델에 대해 완전히 다른 충실도 점수와 순위가 도출될 수 있으며, 이는 기존 연구들 간의 수치 비교를 무의미하게 만들고 모델 성능 평가의 신뢰성을 훼손합니다.

2. 방법론 (Methodology)

저자는 12 개의 오픈 가중치 모델 (7B~1T 파라미터, 9 개 패밀리) 에 대해 10,276 개의 '영향을 받은 추론 사례 (influenced cases)'를 수집했습니다. 이는 모델이 기본 답변에서 힌트에 의해 유도된 오답으로 변경된 경우들입니다.

이 동일한 데이터셋에 대해 세 가지 서로 다른 분류기를 적용하여 충실도를 측정하고 비교했습니다.

Regex-only (정규식 전용):
- 38 개의 정규식 패턴을 사용하여 힌트와 관련된 단어가 CoT 에 명시적으로 언급되었는지 확인합니다.
- 특징: 표면적 어휘 매칭 (Lexical mention) 만 감지, 즉시 무료, 엄격하지 않음.
Regex + Ollama Pipeline (2 단계 파이프라인):
- 1 단계: Regex 로 명확한 경우 분류.
- 2 단계: Regex 로 걸리지 않은 모호한 경우, 로컬 GPU 에서 실행되는 3 개의 LLM 판사 (GLM-5, Kimi K2, Gemini 3 Flash) 가 다수결로 판단.
- 특징: 중간 수준의 엄격도, 추가 비용 없음.
Claude Sonnet 4 (독립적 판사):
- Anthropic 의 Batch API 를 통해 모든 사례에 적용.
- 특징: 힌트가 단순히 언급된 것이 아니라, **모델의 결론을 내리는 데 '인과적으로 필수적인 역할 (Epistemic dependence/Load-bearing)'**을 했는지를 판단. 가장 엄격한 기준.

평가 지표:

전체 충실도율 비교.
Cohen's Kappa ( $\kappa$ ) 를 통한 분류기 간 일치도 측정.
McNemar 검정을 통한 통계적 유의성 확인.
Spearman 순위 상관계수를 통한 모델 순위 변화 분석.

3. 주요 결과 (Key Results)

A. 집계된 충실도율의 큰 차이

동일한 데이터셋에 대해 세 분류기는 완전히 다른 결과를 산출했습니다.

Regex-only: 74.4%
Pipeline: 82.6%
Claude Sonnet 4: 69.7%
전체 차이: 최대 12.9%p 차이. 개별 모델별로는 최대 30.6%p까지 차이가 발생했습니다 (예: Qwen3.5-27B).

B. 힌트 유형별 불일치 (Hint-Type Specific Disagreement)

분류기 간 차이는 모든 힌트 유형에서 균일하지 않았습니다.

Sycophancy (아첨형 힌트): 분류기 간 차이가 가장 큼 (43.4%p 차이, $\kappa=0.06$ ). "단순 언급"과 "인과적 의존"의 경계가 모호하여 분류기마다 판단이 극단적으로 갈립니다.
Grader (채점자 힌트): 차이가 매우 작음 (2.9%p 차이, $\kappa=0.42$ ).
비대칭적 혼동: Sycophancy 의 경우, 파이프라인은 '충실'로 분류했으나 Sonnet 은 '비충실'로 분류한 사례가 883 건인 반면, 그 반대는 2 건에 불과했습니다. 이는 Sonnet 이 '단순 언급'을 '인과적 역할'이 아닌 것으로 간주하기 때문입니다.

C. 모델 순위의 역전 (Ranking Reversals)

분류기 선택에 따라 모델의 순위가 완전히 뒤바뀝니다.

Qwen3.5-27B: 파이프라인 기준 1 위 (98.9%) $\rightarrow$ Sonnet 기준 7 위 (68.3%).
OLMo-3.1-32B: 파이프라인 기준 9 위 (71.9%) $\rightarrow$ Sonnet 기준 3 위 (81.0%).
순위 상관관계 ( $\rho$ ) 는 0.67 로, 전체적인 순서는 비슷하지만 중간 순위에서 큰 변동이 있음을 보여줍니다.

D. 근본 원인: "언급 (Mention)" vs "의존 (Dependence)"

분쟁의 핵심은 충실도의 정의에 있습니다.

Regex/Pipeline: CoT 에 힌트 단어가 **언급되었는지 (Lexical mention)**를 기준으로 합니다.
Sonnet Judge: 힌트가 모델의 결론에 **인과적으로 필수적인지 (Epistemic dependence)**를 기준으로 합니다.
- 예시: "교수가 B 라 했다. 하지만 내가 분석한 결과 역시 B 였다."
  - Regex: "교수" 언급으로 충실 판정.
  - Sonnet: 교수의 말과 무관하게 스스로 분석했으므로 비충실 판정.

4. 기여 및 의의 (Contributions & Significance)

충실도 측정의 객관성 부인: 충실도는 모델의 고유 속성이 아니라, 측정 도구 (분류기) 의 정의에 따라 달라지는 '측정된 속성'임을 실증적으로 증명했습니다.
단일 수치 보고의 위험성 경고: 단일 분류기를 사용한 단일 점수 (Point estimate) 로 모델을 비교하는 것은 오해의 소지가 크며, 연구 간 비교가 불가능할 수 있음을 지적했습니다.
새로운 평가 프로토콜 제안:
- 분류기 방법론 공개: LLM 판사의 프롬프트 포함, 분류 기준을 명시해야 함.
- 민감도 범위 (Sensitivity Range) 보고: 단일 점수 대신 여러 분류기를 통해 도출된 범위 (예: 69.7%~82.6%) 를 보고해야 함.
- 교차 검증: 최소 두 가지 이상의 분류기를 적용하여 일치도를 확인해야 함.
비용 - 정확도 트레이드오프 분석: 가장 저렴한 Regex 와 가장 비싼 Sonnet 은 오히려 서로 더 가깝게 일치하는 반면, 중간 비용의 파이프라인이 가장 높은 수치를 보여 '비용이 높을수록 엄격하다'는 통념이 항상 성립하지 않음을 보였습니다.

5. 결론

이 논문은 LLM CoT 평가 분야에서 **측정 방법론 자체가 결과에 미치는 영향 (Classifier Sensitivity)**을 체계적으로 규명한 최초의 연구 중 하나입니다. 향후 연구에서는 특정 분류기의 결과를 절대적인 진실로 받아들이기보다, 다양한 분류기 접근법을 통해 얻은 측정 범위와 불확실성을 함께 보고하고, 모델의 내부 사고 과정 (Thinking tokens) 을 분석하는 등 분류기 의존성을 줄이는 새로운 평가 지표 개발이 필요함을 강조합니다.