🤖 machine learning

From Drift to Coherence: Stabilizing Beliefs in LLMs

이 논문은 대규모 언어 모델이 자기회귀적 답변 재샘플링 과정에서 마틴게일 성질을 위반하는 신념 표류(belief drift)를 초기에 나타내지만, 결국 일관된 예측 분포로 자기 안정화된다는 점을 입증하며, 이러한 현상을 활용하여 정확도를 희생하지 않으면서도 표류를 줄이고 일관성을 향상시키는 프롬프팅 및 미세 조정 전략을 제안한다.

원저자: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 박학다식한 로봇(대규모 언어 모델 또는 LLM)에게 질문을 던진다고 상상해 보세요. 보통 여러분은 로봇이 답을 내놓고 그 추론을 고수할 것이라고 기대합니다. 하지만 이 논문은 기이한 사실 하나를 발견했습니다. 만약 여러분이 로봇에게 똑같은 질문을 연속해서 반복해서 던진다면, 로봇의 확신(confidence)이 흔들린다는 것입니다.

다음은 저자들이 그 흔들림을 어떻게 해결했는지 쉽게 설명한 이야기입니다.

문제점: 로봇의 "흔들리는 뇌"

로봇의 뇌를 날씨를 예측하려는 사람처럼 생각해 보세요.

이상적인 상태: 만약 로봇이 완벽한 베이지안(Bayesian) 사고방식(완벽한 확률적 추측가를 뜻하는 멋진 용어)을 가지고 있다면, 로봇의 확신은 안정적이어야 합니다. 만약 비가 올 확률이 70%라고 생각한다면, 그 70%라는 수치는 단지 한 번 더 생각했다고 해서 변하지 않아야 합니다.
현실: 저자들은 로봇에게 동일한 질문에 대한 답변을 일련의 순서로 생성하도록 요청했을 때, 로봇의 내부 확신이 **표류(drift)**한다는 것을 발견했습니다.
- 비유: 친구에게 "비가 올까?"라고 물었다고 가정해 봅시다. 친구는 "70% 정도 확신해"라고 말합니다. 그런데 여러분이 다시 밖을 내다보지도 않고 즉시 똑같은 질문을 다시 던집니다. 그러면 친구는 갑자기 "사실, 50% 정도만 확신해"라고 말할 수도 있습니다. 그다음 또 물으면 "잠깐, 어쩌면 80%일지도 몰라!"라고 말할 수도 있습니다.
- 이 "흔들림"은 로봇의 신념이 단기적으로 불안정하다는 것을 의미합니다. 이는 마치 북쪽을 가리키기 전까지 미친 듯이 회전하는 나침반과 같습니다.

발견: 결국은 안정을 찾는다

연구진은 흥미로운 점을 발견했습니다. 만약 로봇에게 똑같은 질문에 계속해서 답하게 한다면(예를 들어 20번이나 30번 연속으로), 이 흔들림은 결국 멈춘다는 것입니다. 로봇의 확신은 안정되고 일관된 숫자로 정착하게 됩니다.

비유: 이것은 여러 가지 색깔의 구슬이 섞인 병을 흔드는 것과 같습니다. 처음에는 색깔들이 혼란스럽게 소용돌이칩니다. 하지만 병을 가만히 두면 구슬들이 가라앉고, 마침내 실제 색깔의 비율을 볼 수 있게 됩니다. 로봇은 자신의 진정한 신념을 찾기 위해 "안정화 단계(burn-in phase)"라는 과정이 필요합니다.

해결책: 흔들림을 멈추는 두 가지 기술

문제는 로봇이 안정을 찾을 때까지 기다리는 데 시간이 오래 걸리고 많은 컴퓨터 자원이 소모된다는 점입니다. 저자들은 로봇을 즉시 안정적으로 만드는 두 가지 방법을 고안했습니다.

1. "예열" 기술 (답변 시딩 - Answer Seeding)

로봇이 차가운 상태에서 시작하게 하는 대신, 저자들은 먼저 "예열"용 답변 리스트를 제공합니다.

작동 방식: 먼저 로봇에게 질문에 대한 무작위 답변 몇 개를 한 번 생성하게 한 뒤, 실제 시퀀스를 시작하기 전의 프롬프트에 그 답변들을 다시 입력값으로 넣어줍니다.
비유: 이것은 음악가가 콘서트를 하기 전 악기를 조율하는 것과 같습니다. 불협화음이 섞인 음으로 노래를 시작하는 대신, 음정을 맞추기 위해 몇 가지 짧은 음을 연주하는 것입니다. 로봇은 이 "시드(seed)" 답변들을 사용하여 초기의 혼란스러운 흔들림 단계를 건너뛰고 곧바로 안정적인 구간으로 진입합니다.

2. "훈련" 기술 (자기 일관성 손실 - Self-Consistency Loss)

저자들은 또한 학습 방식을 변경하여 로봇이 스스로 안정되도록 가르쳤습니다.

작동 방식: 저자들은 로봇에게 미래의 답변을 보여주는 특별한 수학 수업(손실 함수, loss function)을 만들었습니다. 그들은 로봇에게 이렇게 말했습니다. "지금 너의 답변은 5단계 후에 네가 말할 내용과 일치해야 한다."
비유: 평소 시험을 볼 때 마음이 바뀌어 갈팡질팡하는 학생을 상상해 보세요. 선생님은 다음과 같은 규칙을 줍니다. "네가 1번 문제에 쓴 답은, 10번 문제에 도달했을 때도 그대로 고수할 수 있는 것이어야 한다." 이 규칙을 연습함으로써, 학생은 처음부터 일관성을 유지하는 법을 배우며, 나중에 확신을 찾기 위해 "흔들릴" 필요가 없게 됩니다.

결과

이 기술들을 표준 객관식 문제(상식이나 과학 퀴즈 등)에 테스트했을 때:

흔들림 감소: 로봇의 확신이 표류하는 현상이 멈추고 일관성을 유지했습니다.
더 나은 예측: 로봇은 자신의 답변에 대해 얼마나 확신하는지(교정/calibration)를 더 잘 알게 되었습니다.
동일한 정확도: 결정적으로, 로봇을 더 안정적으로 만든 것이 로봇을 멍청하게 만들지는 않았습니다. 로봇은 이전과 마찬가지로 정답을 맞혔지만, 이제는 자신이 언제 맞는지에 대해 더 신뢰할 수 있게 되었습니다.

핵심 요약

이 논문은 AI 모델이 일련의 답변을 생성할 때 종종 "흔들리는" 신념 체계로 시작하지만, 본질적으로는 일관성을 유지하고자 한다는 것을 보여줍니다. 약간의 "예열" 데이터를 사용하거나, 미래의 자신과 일치하도록 훈련함으로써, 우리는 로봇이 스스로 안정을 찾을 때까지 기다릴 필요 없이 즉시 안정적이고 신뢰할 수 있게 만들 수 있습니다.

기술 요약: 표류에서 일관성으로: LLM의 신념 안정화

문제 정의
대규모 언어 모델(LLM)은 특히 인컨텍스트 학습(ICL)의 맥락에서 암묵적 베이지안 추론을 수행한다는 가설이 자주 제기됩니다. 이러한 베이지안 일관성을 위한 결정적 조건은 예측 신념의 **마팅게일 성질(martingale property)**입니다. 즉, 현재의 이력에 조건 지어진 미래 신념의 기댓값은 현재의 신념과 같아야 합니다. 이전 연구인 Falck 등(2024)은 통제된 합성 설정(예: 난수 생성)에서 LLM이 이 성질을 위반함을 보여주었으며, 이는 LLM이 일반적으로 베이지안이 아님을 시사합니다. 그러나 이러한 합성 작업은 모델의 실제 예측 분포를 가릴 수 있으며 일반적인 사용 환경을 반영하지 못할 수 있습니다.

본 논문은 LLM이 더 실용적인 설정인 **일반적인 다중 선택 질문 답변(MCQA)**에서 마팅게일 위반을 보이는지 조사합니다. 저자들은 예측 프로세스를 고정된 쿼리에 대해 자기회귀적으로 생성되는 일련의 답변으로 정의합니다. 저자들은 LLM이 결국 안정화되기는 하지만, 상당한 **초기 신념 표류(initial belief drift)**를 보인다는 점을 관찰했습니다. 즉, 예측 분포가 초기 샘플링 단계 동안 체계적으로 변화하며 마팅게일 성질을 위반합니다. 이 표류는 모델의 내부 신념 상태가 즉각적으로 일관되지 않으며, 안정적인 한계 분포에 도달하기 위해 "번인(burn-in)" 기간이 필요함을 의미합니다.

방법론
저자들은 MCQA 답변 공간의 이산적 특성을 활용하여 이 표류를 분석하고 교정하는 프레임워크를 제안합니다. 이는 샘플링 근사치 없이도 예측 분포를 정확하게 계산할 수 있게 해줍니다.

프롬프트 기반 예측 재샘플링(Prompted Predictive Resampling, PPR): 핵심 실험 프로토콜은 LLM에게 동일한 질문에 대해 일련의 답변을 반복해서 생성하도록 지시하는 것입니다. 이를 통해 모델이 자신의 이전 출력에 조건 지어지는 이력 의존적 예측 프로세스 $\theta_n(x_Q)$ 를 생성합니다.
답변 시딩(Answer Seeding): 초기 단계의 표류를 완화하기 위해, 저자들은 모델에 표준 모델 분포로부터 i.i.d.로 샘플링된 짧은 "시드(seed)" 답변 시퀀스를 먼저 제공하는 프롬프팅 전략을 도입합니다. 이 시드들은 모델의 불확실성에 대한 "평균장(mean-field)" 요약 역할을 하여, 생성 프로세스가 안정적인 영역으로 더 빠르게 진입하도록 유도합니다.
마팅게일 아모티제이션(Self-Consistency Loss): 추론 시 긴 재샘플링 시퀀스나 외부 시딩에 드는 계산 비용을 제거하기 위해, 저자들은 자기 일관성(Self-Consistency, SC) 손실이라 불리는 미세 조정 목적 함수를 제안합니다. 이 손실은 모델의 단기 예측과 몬테카를로 롤아웃을 통해 근사된 장기 예측 사이의 발산을 최소화합니다. 모델이 자신의 미래 주변 통계량과 일치하도록 학습시킴으로써, SC 손실은 안정화 과정을 "아모티제이션(amortize, 분할 상환)"하여 모델이 번인 단계 없이 즉시(제로샷) 일관된 신념 분포를 출력할 수 있게 합니다.

주요 기여

표류의 경험적 특성화: 본 논문은 LLM이 예측 재샘플링의 초기 단계에서는 마팅게일 성질을 위반하지만, 충분한 단계 이후에는 자발적으로 안정화되어 일관된 예측 분포(마팅게일 사후 분포)로 수렴한다는 경험적 증거를 제공합니다.
안정화 메커니즘: 저자들은 일관성을 달ato하기 위한 두 가지 방법을 도입합니다:
- 추론 시점: 확률적 컨텍스트를 제공함으로써 번인 기간을 줄이는 답변 시딩.
- 학습 시 시점: 모델이 안정성을 내재화하도록 가르쳐 수렴 지평을 효과적으로 붕괴시키는 SC 손실.
이론적 정당성: 본 논문은 모델 클래스가 충분히 표현력이 있다면, SC 손실을 최소화하는 것이 예측 프로세스를 근사 마팅게일에 접근하게 함을 입증합니다. 이론적 경계는 잔여 마팅게일 위반이 SC 손실 값에 비례함을 보여줍니다.

결과
실험은 명령 튜닝된 모델(LLAMA-3.1-8B 및 OLMO-3-7B)을 사용하여 표준 MCQA 벤치마크(CSQA, AI2-ARC, TinyMMLU)에서 수행되었습니다.

표류 감소: 답변 시딩과 SC 손실 학습 모두 기대 마팅게일 표류(Expected Martingale Drift, EMD)를 크게 감소시켰습니다. SC 손실(AM-PPR)은 표준 PPR보다 일관되게 우수한 성능을 보이며 모든 데이터셋과 모델에서 더 낮은 표류 값을 달성했습니다.
교정 및 정확도: 안정화된 예측 분포는 표준 직접 쿼리 베이스라인 및 불안정한 PPR에 비해 개선된 불확실성 교정 능력(더 낮은 기대 교정 오차 및 브라이어 점수)을 보여주었습니다. 결정적으로, 이러한 일관성과 교정의 개선은 예측 정확도를 희생하지 않고 달성되었습니다.
효율성: AM-PPR 방법은 모델이 안정적인 신념 상태에 즉시 접근(첫 번째 토큰의 분포 사용)할 수 있게 하여, 추론 시 비용이 많이 드는 긴 롤아웃이나 보조 시드 생성을 제거했습니다.

의의 및 주장
본 논문은 실용적인 LLM이 **일시적 신념 표류(transient belief drift)**를 보이며, 이는 특정 프롬프팅 및 학습 전략을 통해 상당히 줄일 수 있다고 주장합니다. 마팅게일 스타일의 일관성을 운용함으로써, 저자들은 정확도를 저해하지 않으면서도 고위험 추론 작업에서 LLM의 신뢰성과 불확실성 교정 능력을 향상시킬 수 있음을 입증했습니다.

저자들은 마팅게일 위반을 줄이는 것이 완전히 베이지안적이고 잘 교정된 추론을 위한 필요조건이지만 충분조건은 아님을 겸허히 언급합니다. 즉, 안정화된 신념은 내부적으로는 일관되지만, 사실적 정확성이나 실제 정답과의 일치성을 보장하지는 않습니다. 또한, 이 방법은 현재 순차적 재샘플링 동작을 이끌어내기 위해 프롬프트 엔지니어링에 의존하고 있습니다. 결론적으로, 본 프레임워크는 이산적 MCQA에서 검증되었으나 복잡한 추론 경로(예: 생각의 사슬, Chain-of-Thought)로 확장 가능한 구조를 가지고 있으며, 이는 복잡한 추론 시나리오에서 확률적 사고 경로를 안정화하는 연구에 대한 유망한 방향을 제시합니다.