💬 NLP

Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study

이 논문은 합의를 기계적 선호도 기반 성분과 잔여 성분으로 분해하는 '다원적 합의 지수'를 도입하여 LLM 자기 일관성 투표의 불규칙한 성능을 정량적으로 분석하며, 이를 통해 다지선다형 과제에서는 공유된 편향이 지배적이지만 개방형 문제에서는 설명되지 않는 이질성이 지속되며 높은 합의가 정답을 보장하지는 않는다는 점을 밝혀낸다.

원저자: Lizhuo Zhang, Mengmeng Tang, Chenfeng Long, Xiaoyong Tang, Xiang Luo

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lizhuo Zhang, Mengmeng Tang, Chenfeng Long, Xiaoyong Tang, Xiang Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 대규모 언어 모델은 종en 복잡한 문제를 사고를 통해 해결할 수 있는 신탁과 같은 기계로 취급되곤 합니다. 이러한 시스템을 더 신뢰할 수 있게 만들기 위해, 연구자들은 '자기 일관성(self-consistency)'이라 불리는 기법을 개발했습니다. 그 아이디어는 간단합니다. 모델에게 단 하나의 답을 요구하는 대신, 동일한 질문을 여러 번 던지고 그 답변들이 투표하게 만드는 것입니다. 만약 모델이 대부분의 경우 동일한 답을 내놓는다면, 이 합의가 정답일 가능성이 높다고 가정합니다. 이 방법은 많은 시도 사이의 합의가 진실을 나타낸다는 직관적인 믿음에 기반하여, 정확도를 높이는 표준적인 도구가 되었습니다. 그러나 이 믿음은 고집스러운 현실에 직면해 있습니다. 때때로 모델은 스스로와 매우 강력하게 일치하면서도 완전히 틀릴 수 있기 때문입니다. 이는 주로 어려운 질문에서 발생하는데, 모델이 그럴듯하지만 틀린 답에 확신을 가지고 안착하여 잘못된 보안 의식을 만들어낼 때 발생합니다. 왜 이런 일이 발생하는지 이해하는 것은 매우 중요합니다. 왜냐 ثبت하면 우리가 확신에 찬 정답과 확신에 찬 오답을 구별할 수 없다면, 고위험 상황에서 이러한 시스템을 신뢰할 수 없기 때문입니다.

후난 농업 대학교와 위에루산 연구소의 연구진이 수행한 최근 연구는 강력한 새로운 모델인 GPT-4.1을 사용하여 이 특정 실패 모드를 조사합니다. 연구팀은 단순히 오류가 발생한다는 것을 관찰하는 데 그치지 않고, 그 잘못된 합의가 질문 자체의 성격에서 기인하는 것인지, 아니면 모델의 사고 과정에 내재된 깊고 공유된 결함에서 기인하는 것인지를 정확히 측정하는 방법을 설계했습니다. 그들은 이 문제를 이전 릴리스의 공개된 실행 데이터를 사용하여 모델의 투표 과정을 포렌식 감사하는 것처럼 다루었습니다. 모델이 질문에 틀린 답을 냈을 때, 연구진은 다음과 같이 물었습니다. '틀린 답변들의 집단이 단순히 모두가 선택하는 매우 매력적인 오답 하나 때문에 뭉쳐 있는 것인가, 아니면 다른 무언가가 그들이 잘못된 경로로 합의하게 만드는 것인가?' 이에 답하기 위해, 그들은 모델의 특정 답변 선호도를 제거하고 어떤 합의가 남아 있는지를 확인할 수 있는 시뮬레이션을 만들었습니다.

연구진은 그 답이 질문의 유형에 따라 크게 달라진다는 것을 발견했습니다. 고정된 선택지가 있는 객관식 질문을 다룰 때, 이야기는 비교적 명확했습니다. 이러한 경우, 틀린 답에 대한 강한 합의는 거의 전적으로 모델이 특정하고 매력적인 오답(distractor)에 대해 가진 기계적인 선호도에 의해 설명되었습니다. 모델은 본질적으로 매번 동일한 잘못된 문으로 끌려갔으며, 투표 시스템은 그 단일한 매력을 반영했을 뿐이었습니다. 이러한 시나리오에서, 오류를 유발하는 '공유된 편향'은 해당 특정 오답에 대한 모델의 개별적 선호도에 의해 포착되었습니다. 연구는 이러한 객관식 과업에서 모델의 내부 선호도가 잘못된 합의의 81%에서 93%를 설명한다는 것을 보여주었습니다. 이는 제약이 있는 과업에서 오류가 전체 집단의 신비로운 상관적 실패가 아니라, 특정 함정에 대한 예측 가능한 끌림임을 시사합니다.

그러나 연구진이 수학 경시 대회와 같이 선택지가 없는 개방형 질문을 살펴보았을 때, 그림은 극적으로 변했습니다. 여기서 모델이 특정 답변에 대해 가지는 내부 선호도는 합의의 약 59%에서 78%만을 설명했습니다. 모델의 선호도를 고려한 후에도 상당 부분의 설명되지 않는 합의가 남아 있었습니다. 이 남겨진 합의는 모델이 스스로 답을 생성할 때, 단순히 인기 있는 오답을 고르는 것이 아니라, 서로 다른 시도들이 단순한 선호도를 넘어 어떤 방식으로든 동일한 오류에 도달하도록 서로 조율하고 있음을 시사합니다. 연구진은 이 설명되지 않는 합의가 모델이 자신의 생각을 다르게 하려고 노력하더라도, 반복적으로 같은 실수를 저지르게 만드는 훈련 과정에서의 공유되고 체계적인 편향을 지니고 있다는 생각과 일치한다고 언급했습니다.

또한 이 연구는 높은 합의가 정답을 보장하지 않는다는 점을 확인했습니다. 연구진은 모델이 거의 완벽하게 스스로와 일치하는 가장 확신에 찬 그룹들을 조사했으며, 그 경우에도 정확도가 완벽과는 거리가 멀다는 것을 발견했습니다. 가장 어려운 문제들에서, 가장 많이 합의된 답변들이 정답일 확률은 약 42%에서 83%에 불과했습니다. 이는 모델이 극도로 일관적일 때조차도 상당 부분 틀릴 수 있음을 의미합니다. 나아가, 연구는 어려운 질문의 경우 투표법을 사용하는 것이 단 한 번의 추측보다 오히려 성능을 악화시킬 수 있다는 것을 보여주었습니다. 이러한 '역효과(backfire)' 현상은 모델의 잘못된 답에 대한 합의 경향이 가끔 나오는 정답을 압도할 만큼 강했던 가장 어려운 문제들에서 가장 두드렷하게 나타났습니다.

궁극적으로, 이 연구는 우리가 AI의 자신감을 바라보는 방식을 재정립합니다. 이 연구는 합의가 진리에 대한 인증이 아니라, 주의 깊게 해석되어야 하는 단계적인 신호임을 입증합니다. 객관식 테스트에서 잘못된 합의는 흔히 모델이 하나의 매력적인 오답에 달라붙는 것에 불과합니다. 하지만 개방형 과업에서 잘못된 합의는 모델의 서로 다른 시도들이 서로의 오류를 강화하는, 더 깊고 설명되지 않는 상관관계 속에 숨어 있을 수 있습니다. 연구진은 자기 일관성이 유용한 도구이긴 하지만, 한계가 있다고 결론지었습니다. 즉, 단일 추측보다 정확도를 크게 높일 수는 있지만, 특히 질문이 어려울 때 완벽함까지 밀어붙일 수는 없다는 것입니다. 이 결과는 우리가 높은 합의를 정답에 대한 '녹색 신호(승인)'로 취급하는 것을 멈추고, 특히 모델이 고정된 선택지 없이 스스로 답을 생성할 때는 이를 추가적인 정밀 조사가 필요한 미묘한 증거로 취급해야 함을 시사합니다.

기술 요약: LLM 자기 일관성(Self-Consistency)에서의 오답 합의(Wrong-Consensus Agreement) 분해

문제 정의

여러 개의 LLM 출력을 생성하고 다수결 투표를 통해 집계하는 샘플링 기반 추론(자기 일관성)은 답변 정확도를 향상시키는 표준적인 기법이다. 그러나 경험적 증거에 따르면 이 휴리스틱이 항상 효과적인 것은 아니다: 답이 틀렸음에도 합의도는 높을 수 있으며, 어려운 문제의 경우 다수결 투표가 단일 샘플보다 오히려 정확도를 낮추는 현상("역효과" 효과)이 발생하기도 한다.

기존 문헌들은 이러한 실패 사례들을 기록하고 있으나, '오답 합의(wrong-consensus agreement)'에 대한 정량적이고 반사실적인 분해(counterfactual decomposition)는 결여되어 있다. 구체적으로, 관찰된 오답 간의 합의가 다음 중 무엇에 의한 것인지 명확하지 않다:

기계적 효과(Mechanical effects): 고정된 사례별 답변 선호도(예: 특정 오답 매력도가 높은 경우)가 주어졌을 때, 통계적으로 특정 옵션에 투표가 집중되는 필연적 현상.
상관된 오류(Correlated errors): 모델의 샘플들이 독립적이지 않고 공유된 편향이나 체계적 오류를 가짐으로써, 기계적 선호도가 예측하는 수준 이상으로 동일한 오답에 쏠리는 현상.

방법론

본 논문은 **다원적 합의 지수( $\Gamma$ )**와 반사실적 분해 프레임워크를 도입하여, 기계적 합의와 선호도 미설명 잔차(preference-unexplained residuals)를 구분한다. 분석은 기존의 실행 데이터(Ding [2])를 바탕으로 GPT-4.1 제품군(mini 및 nano 변체 포함)에 대해 두 가지 벤치마크인 GPQA-Diamond(객관식)와 AIME(주관식/개방형 도메인)에서 수행되었다.

주요 정의

합의 지수 ( $\Gamma$ ): 오답이 발생한 실행(run) 내의 샘플 중 다수결 라벨과 일치하는 비율의 기대값으로 정의되며, 참조 척도 $d = (1-p)/(C-1)$ 로 정규화된다 (여기서 $p$ 는 단일 샘플 정확도, $C$ 는 옵션의 수). 이는 오답 실행이 오답 합의에 얼마나 "끈끈하게(sticky)" 달라붙어 있는지를 측정한다.
기계적 반사실 모델(Mechanical Counterfactuals): 오류가 독립적이되 특정 구조적 특성은 유지한다고 가정할 때 합의가 어떻게 나타날지 시뮬레이션하기 위해 일련의 귀무 모델(null models)을 구축한다:
1. 균등 귀무 모델 ( $\Gamma_{iid}$ ): 샘플들이 오답 옵션들로부터 균등하게 추출됨을 의미한다. 이는 특정 옵션에 대한 선호가 없는 기초 상태를 나타낸다.
2. 누수 없는 사례별 선호도 귀무 모델 ( $\Gamma_{rival}$ ): 이것이 핵심 기여점이다. 각 사례에 대해, leave-one-out 방식(동일 사례의 다른 실행들만 사용)을 사용하여 모델의 옵션별 선호도 분포를 추정한다. 이후 추정된 선호도 분포로부터 시뮬레이션된 실행을 추출한다. 결정적으로, 어떤 실행도 자신의 합의 여부를 예측하지 않도록 하여 데이터 누수(data leakage)를 방지한다.

분해 지표

주요 지표는 **기계적 커버리지( $\phi$ )**이다:
$\phi = \frac{\Gamma_{rival}}{\Gamma^{(t)}_{emp}}$

$\Gamma^{(t)}_{emp}$ : 홀드아웃 세트의 오답 실행에서 관찰된 경험적 합의 지수.
$\Gamma_{rival}$ : 누수 없는 사례별 선호도 귀무 모델에 의해 생성된 합의 지수.
해석:
- $\phi \approx 1$ : 관찰된 합의가 거의 전적으로 특정 (그러나 잠재적으로 틀린) 옵션에 대한 기계적 인력에 의해 설명됨을 의미한다. 이 경우 "공유된 편향"이라는 설명은 과장된 것이다.
- $\phi \ll 1$ : 상당한 **선호도 미설명 잔차( $\delta = 1 - \phi$ )**가 남아 있음을 의미한다. 이는 사례별 선호도를 고려하더라도 샘플들이 독립성을 가정할 때보다 오답 합의에 더 많이 쏠려 있음을 시사하며, 이는 상관된 오류나 공유된 훈련 편향과 일치한다.

주요 결과

1. 기계적 커버리지의 벤치마크별 방향성

분해 결과, 제약된 객관식 작업과 개방형 도메인 작업 간의 뚜렷한 차이가 드러났다:

GPQA-Diamond (객관식): 기계적 사례별 선호도가 관찰된 오답 합의의 **81–93%**를 설명한다 ( $\phi \in [0.806, 0.927]$ ). 잔차가 작다. 이는 객관식 작업에서 "공유된 편향"이 주로 모델이 특정 매력적인 오답에 집단적으로 쏠리는 현상으로 나타나며, 이것이 사례별 선호도 채널에 의해 포착됨을 시사한다.
AIME (개방형 도메인): 기계적 선호도가 합의의 **59–78%**만을 설명한다 ( $\phi \in [0.586, 0.781]$ ). 상당한 잔차인 1.56–2.80 $\Gamma$ 단위가 남는다. 이 잔차는 Dirichlet-multinomial 귀무 모델을 통해 모델링된 실행 간 선호도 변동과 일치하며, 개방형 도메인 작업에서는 고정된 사례별 선호도만으로는 설명되지 않는 요소가 합의에 관여함을 시사한다.

2. "역효과(Backfire)" 현상의 재현

본 연구는 어려운 문제에서 다수결 투표가 역효과를 낼 수 있다는 발견을 재현한다. 난이도별 분석에서, 투표 격차(합의 정확도 - 단일 샘플 정확도)는 가장 어려운 구간에서 음수가 된다 (예: GPT-4.1-nano의 GPQA에서 $-0.09$).

3. 높은 합의도에 대한 낮은 경험적 천장(Ceiling)

높은 자기 일관성은 유익하지만, 인증(certification)은 아니다.

"최고 합의 구간"(자기 일관성 상위 20%)의 정확도는 0.42에서 0.83 사이이다.
이는 기본율(base rate) 대비 1.2~3.6배의 상승을 나타내지만, 1.0에는 훨씬 못 미친다. 즉, 합의도는 **등급화된 증거(graded evidence)**이지, 정답임을 보증하는 수단이 아니다.

4. 챔피언의 취약성(Champion Fragility)

동일한 사례에 대한 두 개의 독립적인 실행이 높은 합의를 가진 승자를 만들어내더라도, 그 "챔피언"(다수결 승자)은 불안정하다.

전환율(Flip Rate): AIME에서 전환율은 0.82, GPQA에서는 0.40이다.
매우 높은 자기 일관성( $\alpha \ge 0.98$ )에서도, 전환율은 GPQA에서 0.17, AIME에서 0.78로 유지된다.

5. 소프트(Soft) vs 하드(Hard) 합의

하드 다수결 투표를 Jensen gap을 이용한 확률 가중 집계(소프트 방식)로 대체해도 정답 여부 예측의 AUROC 측면에서 눈에 띄는 개선이 없다. 즉, "소프트" 합의는 "하드" 다수결 집중도 이상의 신호를 추가하지 못한다. 또한, Jensen gap은 정답 실행보다 오답 실행에서 더 크게 나타나는데, 이는 오답 실행이 더 분산된 분포를 가짐을 나타낸다.

의의 및 주장

본 논문은 새로운 투표 방법을 제안하거나 새로운 실패 모드를 발견하는 것이 아니라, 기술적 이해를 돕는 기여를 목적으로 한다. 본 연구의 의의는 다음과 같다:

정량적 분해: 오답 합의를 기계적 사례별 선호도와 선호도 미설명 잔차로 분해하는 최초의 반사실적 계층 구조를 제공한다.
"공유된 편향"의 재정의: 오답에 대한 높은 합의가 전적으로 상관된 오류 때문이라는 막연한 가정에 도전한다. 객관식 작업에서는 많은 부분이 기계적(사례별 선호도에 의해 포착됨)이지만, 개방형 도메인 작업에서는 체계적 오류 패턴과 일치하는 견고한 잔차가 존재한다.
모델 불가지론적 프레임워크: 분해 방식이 관찰된 실행 데이터와 반사실적 시뮬레이션에 기반하여 정의되었으므로, 실행 데이터가 존재하는 모든 모델에 적용 가능하다.
경험적 경계 설정: 자기 일관성 신뢰도는 완벽한 정답을 보증하는 것이 아니라 등급화된 증거임을 확립하며, 높은 합의 구간에서도 경험적 천장이 1.0보다 훨씬 낮음을 보여준다.

저자들은 잔차의 구체적인 메커니즘(예: 엄격한 "공유 훈련 편향"인지 혹은 실행 수준의 이질성인지)은 식별되지 않았으며, 단지 사례별 선호도 모델만으로는 개방형 도메인의 오답 합의를 설명하기에 불충분하다는 점을 명시하고 있다. 또한, 반사실 모델의 i.i.d. 가정에 따른 한계가 있으나, 연구 결과의 방향성(GPQA의 높은 기계적 커버리지와 AIME의 상당한 잔차)은 샘플링 상관관계에 대해 강건하다.