🤖 machine learning

Reliability Scales Inversely: Bigger Models Compound Mistakes Faster via a Hidden Auto-Regressive Risk Regime

이 논문은 언어 모델이 규모를 키워감에 따라, 저확률 토큰 오류가 확신에 찬 눈덩이 효과식의 환각을 유발하여 모델 자체의 불확실성 신호가 감지할 수 있는 것보다 더 오래 지속되는 자기 영속적인 "자기 회귀적 위험 체제"에 점점 더 깊이 진입하게 되며, 결과적으로 더 큰 모델들이 일반적인 능력을 얻음에도 불구하고 실수를 더 빠르게 누적시킨다는 사실을 밝히고 있다.

원저자: Kushal Chakrabarti

게시일 2026-07-22

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kushal Chakrabarti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 AI의 역설: 크다고 해서 반드시 더 나은 것은 아니다

로봇에게 이야기를 들려주는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에는 로봇에게 더 많은 뇌력(brainpower)과 더 많은 책, 그리고 더 많은 학습 시간을 주면 결국 완벽해질 것이라는 오래된 믿음이 있습니다. 이 개념을 "스케일링(scaling)"이라고 부릅니다. 모델이 커질수록 더 똑똑해진다는 것입니다. 하지만 여기에는 함정이 있습니다. 이 로봇들이 긴 이야기를 쓸 때, 단순히 더 나아지는 것이 아니라, 이야기가 진행됨에 따라 진실을 유지하는 능력이 오히려 악화되기도 합니다. 처음에는 완벽한 사실로 시작할지 모르지만, 그러다 실수로 거짓말을 지어낼 수 있고, 그 거짓말에 너무나 확신을 가진 나머지 그 거짓말 위에 나머지 이야기를 쌓아 올려 '엉터리의 눈덩이(snowball of nonsense)'를 만들어 버립니다.

왜 이런 일이 발생하는지 이해하려면, 이 로봇들이 어떻게 "생각"하는지 살펴봐야 합니다. 이들은 우리처럼 사실을 아는 것이 아니라, 이전에 본 패턴을 바탕으로 문장의 다음 단어를 예측합니다. 과학자들은 로봇이 실수를 할 때, 그것이 항상 답을 몰라서 발생하는 것이 아니라는 사실을 발견했습니다. 때때로 답을 알고 있음에도 불구하고 잘못된 추측을 하기도 합니다. 일단 잘못된 추측을 하고 나면, 로봇은 그것을 다음 문장을 위한 사실로 취급합니다. 이를 "자기 회귀(auto-regression)"라고 합니다. 즉, 로봇이 자신의 출력을 다시 자신에게 입력하는 것입니다. 연구자들이 던지는 큰 질문은 이것입니다: 왜 로봇이 커질수록 이러한 실수 발생이 더 심해지는가, 그리고 왜 로봇들은 스스로가 거짓말을 하고 있다는 사실조차 인지하지 못하는가?

논문의 핵심 발견: 보이지 않는 눈덩이

쿠샬 차크라바르티(Kushal Chakrabarti)가 작성한 이 논문은 우리가 AI의 신뢰성에 대해 생각하는 방식을 뒤집어 놓습니다. 주요 발견은 다소 직관에 어긋납니다: AI 모델이 커질수록, 단순히 더 똑똑해지는 것이 아니라, 실수가 더 빠르게 누적되는 방식 또한 더 정교해집니다.

AI 모델을 긴 다파트 시험을 치르는 학생이라고 생각해 보세요.

기존의 생각: "지식 격차(Knowledge Gap)" 이론은 학생이 문제를 틀리는 이유가 공부를 충분히 하지 않았기 때문이라고 말합니다. 해결책은? 더 큰 도서관(더 많은 데이터)과 더 큰 뇌(더 많은 파라미터)를 주는 것입니다.
새로운 발견: 이 논문은 매우 똑똑한 학생들(거대 모델)의 경우, 문제가 지식을 모르는 데 있는 것이 아니라고 주장합니다. 문제는 일단 아주 똑똑하고 확신에 찬 잘못된 추측을 한 번 하고 나면, 그들은 "위험 체제(risk regime)"에 갇히게 된다는 것입니다. 그들은 그 잘못된 추측에 매달리게 되며, 너무나 확신에 차 있기 때문에 자신이 틀렸다는 사실을 깨닫지 못합니다. 그러고 나서 그 잘못된 추측을 바탕으로 다음 질문에 답하게 되고, 이는 또 다른 잘못된 추측으로 이어집니다. 학생이 커질수록, 이 거짓말의 눈덩이는 더 빠르게 불어납니다.

느낄 수 없는 "위험"

이를 설명하기 위해 저자들은 AI의 "불확실성"을 두 부분으로 나누는 영리한 수학적 기법을 사용합니다:

느껴지는 불확실성(Felt Uncertainty): AI가 얼마나 초조함을 느끼는지입니다. 추측을 하고 있다면 불안해할 것이고, 확신이 있다면 차분해질 것입니다.
전념 위험(Commitment Risk): 이것은 숨겨진 위험입니다. AI가 옳다고 생각하는 것과 "초지능 오라클(perfect reference model)"이 옳다고 아는 것 사이의 간극입니다.

여기 무서운 점이 있습니다: AI는 오직 자신의 초조함만을 느낄 수 있습니다. AI는 "전념 위험"을 느낄 수 없습니다.

당신이 다리 위를 걷고 있다고 상상해 보세요.

느껴지는 불확실성은 당신의 무릎이 얼마나 떨리는가입니다.
전념 위험은 실제 다리가 지면으로부터 얼마나 높이 떨어져 있는가입니다.

AI가 실수를 할 때(즉, "조작/fabrication"을 할 때), 그들의 "무릎"(느껴지는 불확실성)은 거의 즉시 떨림을 멈춥니다. 그들은 다시 차분해지고 확신에 차게 됩니다. 하지만 다리는 여전히 지면에서 멀리 떨어져 있습니다! "전념 위험"은 오랫동안 높게 유지됩니다. AI는 차분함을 느끼기 때문에, 자신이 여전히 위험한 상태라는 것을 알지 못합니다. 그들은 확신을 가지고 계속 걸어가 결국 낭떠러지로 떨어지게 되며, 거짓말의 사슬을 만들어냅니다.

"눈덩이" 효과

논문은 이것이 단발적인 실수가 아님을 보여줍니다. 일단 AI가 거짓말을 시작하면, 바로 다음 문장에서 다시 거짓말을 할 확률이 1.08배에서 1.71배 더 높아집니다.

작은 모델: 실수를 하지만, 그것들을 완벽하게 사슬처럼 엮어내지는 못합니다.
큰 모델: 다음 단어를 예측하는 능력이 매우 뛰어나기 때문에, 일단 잘못된 경로를 선택하면 엄청난 확신을 가지고 그 경로에 고착됩니다. 그들은 단순히 하나의 실수를 하는 것이 아니라, 실수의 사슬을 만듭니다.

저자들은 모델이 커질수록(스케일업될수록) "지식 격차"(그들이 모르는 것)는 약 6배 줄어들지만, "지식 퇴보"(거짓말을 시작했을 때 무너지는 속도)는 11배에서 39배 더 악화된다는 것을 발견했습니다. 즉, 큰 모델은 이야기를 올바르게 시작하는 데는 뛰어나지만, 엉터리를 만들어내지 않고 이야기를 끝마치는 데는 형편없습니다.

왜 AI는 스스로를 잡아내지 못하는가?

"왜 AI는 자신의 작업물을 검토하지 않나요?"라고 물을 수 있습니다. 논문은 그 사각지대를 밝혀냅니다. AI의 거짓말을 탐지하려는 대부분의 현재 도구들은 AI가 얼마나 "초조한지"(느껴지는 불확실성)를 살핍니다.

문제점: AI가 거짓말을 시작할 때, 아주 잠깐 동안 초조함을 느꼈다가 곧바로 안정을 찾습니다. 탐지 도구들은 이 안정을 보고 "오, 차분해졌으니 진실을 말하고 있구나!"라고 판단합니다.
현실: AI는 차분하지만, 여전히 "위험 구역"에 있습니다. 탐지 도구들은 거짓말이 발생하는 위험한 분기점에 거의 4배 더 많은 조작을 포함하고 있음에도 불구하고, 그 분기에서 작동하는 빈도가 30% 적게 나타납니다. 즉, 도구들은 위험(risk)이 아닌 초조함(nervousness)만을 찾고 있기 때문에 거짓말을 놓치게 됩니다.

"마법의 해결책" (그리고 그것이 증명하는 것)

이 "숨겨진 위험"이 진짜 악당임을 증명하기 위해, 저자들은 시뮬레이션을 실행했습니다. 그들은 실수를 하기 직전의 모델을 가져와서, 모델이 진실이라고 믿는 내용은 바꾸지 않은 채 인위적으로 "위험성"을 낮추도록 만들었습니다.

결과: 이 숨겨진 위험을 제거했을 때, 다양한 유형의 모델 전반에서 거짓말의 횟수가 **35%에서 74%**까지 감소했습니다.
의미: 이는 문제가 AI가 사실을 모르는 데 있는 것이 아님을 증명합니다. 문제는 AI가 확신은 있지만 틀린 상태에 빠지게 되고, 그 상태가 오류를 누적시킨다는 것입니다.

요약

이 논문은 단순히 AI 모델을 크게 만드는 것만으로는 거짓말 문제를 해결할 수 없음을 시사합니다. 사실, 큰 모델은 너무 빨리 확신을 갖기 때문에 이러한 "눈덩이"식 거짓말에 더 취약할 수도 있습니다. 해결책은 단순히 더 많은 데이터를 제공하는 것이 아니라, AI가 거짓말에 고착되기 전에 그 숨겨진 "전념 위험"을 감지할 방법을 찾는 것입니다. 우리가 다리가 지면에서 얼마나 떨어져 있는지 볼 수 있게 될 때까지, 아무리 똑똑한 AI라도 확신에 찬 발걸음으로 낭떠러지로 걸어 들어갈 수 있습니다.

기술 요약: 신뢰도는 역으로 스케일링된다

문제 정의

대규모 언어 모델(LLM)의 환각(hallucination)에 대한 지배적인 관점은 이를 "지식 격차(knowledge gap)"—즉, 스케일링, 검색, 또는 추가 데이터를 통해 채울 수 있는 정보의 결핍—로 취급한다. 본 논문은 이러한 설명을 반박하며, 모델이 스케일링됨에 따라 초기 지식(지식 격차)은 개선되지만, 동시에 별개의 실패 모드인 **자기회귀적 위험(auto-regressive risk)**을 증폭시킴으로써 신뢰도를 저하시킨다고 주장한다.

핵심 문제는 모델이 규모가 커질수록 단순히 더 정확해지는 것이 아니라, 특정 유형의 복합적인 오류에 더 취약해진다는 점이다. 모델이 낮은 확률의 근거 없는 토큰(조작된 정보)을 선택하면, 이는 후속 생성 과정을 해당 오류에 종속시킨다. 이 과정은 일시적인 샘플링 분산을 지속적인 편향(bias)으로 전환한다. 결정적으로, 이 실패 모드는 모델의 내부 확률 분포( $p_M$ )에 의존하는 모델 자체의 자기 모니터링 메커니즘에는 구조적으로 보이지 않는다.

방법론

저자들은 모델의 분포( $p_M$ )와 더 강력한 동일 계열의 오라클( $p_O$ ) 사이의 로그 우도 비(log-likelihood ratio)로 정의되는 불일치 변수(disagreement variable) ( $\delta$ )를 기반으로 한 이론적 프레임워크를 도입한다:
$\delta_t(x) = \log p_M(x | y_{<t}) - \log p_O(x | y_{<t})$

이 변수의 이계 모멘트(second moment) $E[\delta^2]$ 는 두 가지 뚜렷한 구성 요소로 분해된다:

편향(Bias, $Bias^2$ ): 모델과 오라클 사이의 체계적 간극을 나타내는 제곱 평균인 $KL(p_M \| p_O)^2$ .
위험(Risk, $Var[\delta]$ ): 오라클이 모델이 고려하는 후보들을 가중치를 두는 방식의 퍼짐 정도를 나타내는 불일치의 분산.

본 논문은 여러 모델 제품군(Qwen3, OLMo-3, Llama-3)과 규모(0.6B ~ 32B)에 걸쳐 세 가지 주요 실험적 접근 방식을 활용한다:

스케일링 분석: FActScore 및 LongFact++ 벤치마크를 사용하여 "지식 격차"(초기 환각률)와 "지식 퇴화"(응답 길이에 따른 환각 증가율)를 측정한다.
발생 역학(Onset Dynamics): 조작(fabrication) 발생 직후 $\delta$ 의 시계열적 거동, 그 모멘트, 그리고 모델이 느끼는 불확실성( $H(p_M)$ )을 분석한다.
인과적 개입(In Silico Knockout): "위험 수축(risk contraction)" 메커니즘을 구현한다. 모델이 오라클에서 벗어나는 단계에서, 평균(KL 발산)은 엄격히 유지하면서 $\delta$ 의 분산을 줄이도록 모델의 다음 토큰 분포를 수정한다. 이를 통해 위험을 편향으로부터 분리하여 인과적 효과를 격리한다.

핵심 기여

1. 오류의 분해

본 논문은 환각이 단지 지식 격차(편향)의 함수만이 아님을 입증한다. 저자들은 **위험(Risk, $Var[\delta]$ )**을 지배적이고 별개인 오류 항으로 식별한다. 스케일링은 편향을 감소시키지만(모델이 평균적으로 오라클에 가까워짐), 위험(불일치의 퍼짐)을 줄이는 데는 실패하며, 모델이 성장함에 따라 위험이 전체 오류에서 차지하는 비중은 오히려 커진다.

2. 지속성의 비대칭성

조작 발생 후 "느껴지는 불확실성"과 "오라클 참조 위험" 사이의 괴리를 밝혀냈다:

느껴지는 불확실성 ( $H(p_M)$ ): 모델의 내부 불확실성은 조작의 순간에 급증하지만, 생성이 유창해짐에 따라 매우 빠르게(약 0.3 토큰 이내) 완화된다.
오라클 참조 위험 ( $Var[\delta]$ ): 조작된 오류와 관련된 위험은 훨씬 더 오래(3.5~5.0 토큰) 지속된다.
이는 모델이 확신을 느끼면서도 통계적으로는 진실에서 벗어나 있는 "확신에 차 있으나 위태로운(confident-but-precarious)" 상태를 생성한다. 자기 모니터링 탐지기는 $H(p_M)$ 만을 읽기 때문에 이 상태를 감지할 수 없다.

3. 자기회귀적 전환 및 눈덩이 효과

자기회귀 과정이 이 지속적인 위험을 고정된 편향으로 전환하는 기계 역할을 함을 보여준다. 모델이 근거 없는 토큰을 샘플링하면, 위험은 모든 후속 토큰에 상속되는 고정된 간극으로 붕괴된다. 이는 **오류 누적(error compounding)**으로 이어진다: 후속 조작의 상대적 위험은 스케일에 따라 단조 증가하며(1.08배에서 1.71배로), 즉 모델이 커질수록 환각을 연쇄적으로 일으킬 가능성이 높아진다.

4. 자기 모니터링의 구조적 맹점

Semantic Entropy나 SelfCheckGPT와 같이 모델의 분포( $p_M$ )에만 기반한 탐지기들은 이 위험 영역에 대해 구조적으로 눈이 멀어 있다. 본 논문은 이러한 탐지기들이 조작 사이의 "브릿지(bridge)" 토큰 구간에서 실제 환각을 포함하는 양이 온셋(onset) 토큰보다 거의 4배 더 많음에도 불구하고, 탐지 빈도가 약 30% 낮게 나타남을 보여준다. 탐지기들은 모델의 내부 불확실성이 이미 완화되었기 때문에 "위태로운" 분기를 놓치게 된다.

주요 결과

신뢰도의 역 스케일링: 모든 모델 제품군에 걸쳐, 스케일링은 초기 지식 격차를 5.7~7.0배 줄이지만, 지식 퇴화(오류 누적률)는 11~39배 증가시킨다. 능력(capability)과 신뢰도(reliability)는 서로 다른 스케일링 축임을 보여준다.
위험의 지배력: 모델이 스케일링됨에 따라 전체 제곱 오차 중 위험(분산)에 의한 오차 비중이 **31%에서 49%**로 증가한다. 불일치 분포의 꼬리 또한 더 무거워진다(과잉 첨도(excess kurtosis)가 8.9에서 33.0으로 상승).
환각의 인과적 감소: 위험 수축 개입(평균은 유지하되 분산을 줄임)을 적용했을 때, 저자들은 세 가지 모델 제품군에서 웹 검증 기반 환각을 35~74% 인과적으로 감소시켰다. 이는 누적되는 양이 지식이 아니라 '위험'임을 증证明한다.
탐지기 실패: Semantic Entropy 탐지기는 온셋(onset) 구간에 비해 브릿지(bridge) 구간(조작 사이의 상태)에 대한 민감도가 유의미하게 낮음을 확인했다 ( $p < 10^{-16}$ ).

의의 및 주장

본 논문은 LLM의 환각을 정적인 지식 결핍이 아닌 동적이고 자기 영속적인 위험 체계로 재정의한다고 주장한다. 주요 의의는 다음과 같다:

기계적 인과관계: 편향을 바꾸지 않고 모델-오라클 간의 분산을 수축시키는 것이 환각을 직접적으로 감소시킨다는 최초의 온-폴리시(on-policy) 인과적 증거를 제공함으로써, "위험"이 오류 누적의 동인임을 입증했다.
스케일링의 한계: 단순히 모델을 키우는 것만으로는 신뢰도 문제를 해결할 수 없으며, 오히려 더 큰 모델이 위험의 꼬리를 날카롭게 만들어 특정 유형의 누적 오류에 더 취약해질 수 있음을 보여준다.
사각지대: 현재의 자기 모니터링 기술은 하류(downstream)의 조작을 유발하는 핵심 메커니즘인 위험 항( $Var[\delta]$ )을 볼 수 없다는 점에서 근본적인 한계가 있음을 강조한다.

저자들은 신뢰도가 별도의 스케일링 축이며, 평균적인 지식을 개선하거나 자기 보고된 불확실성에 의존하는 대신, 모델의 확신(commitment)의 분산을 타겟팅하는 새로운 개입이 필요하다고 결론짓는다. 지배적인 실패 모드는 "모델 스스로에게는 보이지 않는" 것으로 묘사되며, 효과적인 완화를 위해서는 외부적 또는 화이트박스(white-box) 신호가 필수적이다.