💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

이 논문은 오픈 웨이트 대규모 언어 모델들이 동일한 정확도 수준에서도 서로 구별되는 뚜렷한 헤비 테일(heavy-tailed) 오류 심각도 분포를 보인다는 점을 입증하는 포괄적인 벤치마크인 Errorquake-10k를 소개하며, 이는 이러한 심각도 프로파일이 스칼라 형태의 오류율이 포착하지 못하는 모델 신뢰성에 대한 결정적이고 중복되지 않는 정보를 제공한다는 것을 증명한다.

원저자: Jason Z Wang

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jason Z Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 회사를 위해 보고서를 작성할 보조원 팀을 채용한다고 상상해 보십시오. 당신은 표준 테스트를 하나 만듭니다. 10,000개의 질문을 던지고 그들이 정답을 틀린 횟수를 세는 것입니다.

AI의 세계에서 이것을 **오류율(error rate)**이라고 부릅니다. 만약 보조원 A가 58%의 답을 틀렸고, 보조원 B도 58%를 틀렸다면, 표준 보고서는 다음과 같이 말합니다: "두 사람 모두 똑같이 형편없다."

이 논문은 이 보고서가 매우 위험하게 오해의 소지가 있다고 주장합니다.

저자인 Jason Z Wang과 동료들은 ERRORQUAKE라고 불리는, 실수의 새로운 관점을 도입합니다. 그들은 모든 실수가 똑같은 가치를 지니는 것은 아니라고 제안합니다. 날짜를 잘못 적는 것은 "손톱에 긁힌 상처"이지만, 누군가를 감옥에 보낼 수도 있는 완전히 조작된 법원 판결은 "건물 붕괴"입니다. 기존 시스템에서는 둘 다 "오류 1회"로 집계되지만, 그 결과는 천지 차이입니다.

다음은 단순한 비유를 사용한 연구 결과의 요약입니다:

1. 지진 비유 (핵심 아이디어)

저자들은 지질학(지진 연구)에서 개념을 빌려왔습니다. 지질학자들은 지진이 특정 패턴을 따른다는 것을 알고 있습니다. 미세한 진동이 많고, 중간 규모는 더 적으며, 거대하고 파괴적인 지진은 매우 드뭅니다. 그들은 이 패턴을 설명하기 위해 ** $b$ -값( $b$ -value)**이라는 수치를 사용합니다.

높은 $b$ -값: 작고 성가신 진동은 많지만, 큰 재앙은 거의 없습니다. (생각해 보세요: 모델이 많은 오타나 사소한 사실적 실수 등을 저지르는 경우).
낮은 $b$ -값: 전체 오류 횟수는 적지만, 발생하는 오류는 불균형적으로 거대하고 파괴적입니다. (생각해 보세요: 모델이 평소에는 조용하지만, 입을 열 때마다 가짜 법률이나 가짜 과학적 발견을 지어내는 경우).

발견: 저자들은 21개의 서로 다른 오픈 소스 AI 모델을 테스트했습니다. 그들은 두 모델의 오류율이 정확히 같더라도(예: 둘 다 58.6%의 오류 발생), 그들의 $b$ -값은 완전히 다르다는 것을 발견했습니다.

예시: 한 모델(DeepSeek-V3.2)은 "낮은 $b$ -값"을 가졌는데, 이는 오류가 헤비 테일(heavy-tailed, 발생 빈도는 낮지만 치명적인) 형태임을 의미합니다. 반면 다른 모델(Ministral-14B)은 "높은 $b$ -값"을 가졌는데, 이는 오류가 가볍고 덜 위험하다는 것을 의미합니다.
시사점: 모델의 안전성을 판단할 때 단순히 얼마나 자주 실패하는지만 봐서는 안 됩니다. 모델이 실패했을 때 얼마나 심하게 실패하는지를 보아야 합니다.

2. "헤비 테일(Heavy-Tailed)" 경고

논문은 이러한 위험한 패턴을 **"헤비 테일 오류 분포"**라고 부릅니다.
구슬 주머니를 상상해 보십시오.

정규 분포: 대부분의 구슬 크기가 비슷합니다.
헤비 테일 분포: 대부분은 아주 작은 자갈이지만, 주머니 속에 숨겨진 몇 개의 거대한 바위가 있습니다. 단지 "구슬의 개수"만 센다면, 그중 하나가 당신의 발을 짓밟을 수 있다는 사실을 놓치게 됩니다.

저자들은 더 크고 강력한 AI 모델들(밀도가 높은 모델들)이 실제로 **더 무거운 꼬리(heavier tails)**를 갖는 경향이 있다는 것을 발견했습니다.

역설: 모델이 커질수록 작은 실수(오타나 사소한 실수 등)는 줄어듭니다. 하지만 모델이 저지르는 실수는 더 확신에 찬 정교한 거짓말(날조)일 가능성이 높습니다.
비유: 어린아이는 자주 넘어지고 넘어집니다(많은 작은 오류). 거인은 몇 시간 동안 완벽하게 걷지만, 만약 그가 비틀거린다면 집 한 채를 무너뜨릴 수 있습니다(오류는 적지만, 그 영향은 파괴적임).

3. "지진계" vs "클리커"

현재의 벤치마크는 **클리커(숫자 세기 버튼)**와 같습니다. 모델이 틀릴 때마다 단순히 "틀림"이라고 클릭할 뿐입니다.
저자들은 클리커 대신 지진계 역할을 하는 새로운 도구인 ERRORQUAKE-10K를 만들었습니다.

단순히 "틀림"이라고 클릭하는 대신, 오류를 0에서 4까지의 척도로 평가합니다.
- 0: 완벽함.
- 0.5–1.0: 사소한 실수 (예: "회의가 3시가 아니라 2시였다"라고 잘못 말함).
- 2.0–3.0: 독자를 오도할 수 있는 심각한 오류.
- 3.5–4.0: 완전한 날조 (예: "회의가 평행 우주에서 열렸다"라고 말함).
이들은 인간 전문가들과 함께 테스트했으며, 인간과 AI 판정사 간의 평가 일치도가 높다는 것을 확인했습니다.

4. 왜 이것이 중요한가? (메커니즘)

논문은 왜 이러한 헤비 테일 현상이 발생하는지 그 이유를 파고듭니다. 그들은 심각성이 높아짐에 따라 오류의 유형이 변화한다는 것을 발견했습니다.

낮은 심각도: 오류는 주로 **검색 실패(retrieval failures)**입니다 (모델이 사실을 잊었거나 잘못된 숫자를 찾아낸 경우).
높은 심각도: 오류는 주로 **날조(fabrications)**입니다 (모델이 일어나지도 않은 일을 자신 있게 지어낸 경우).

결정적으로, 더 큰 모델들이 이러한 고심각도 날조에 더 취약합니다. 모델이 커질수록 사실을 기억하는 능력은 좋아지지만(검색 오류 감소), 답을 모를 때 설득력 있는 거짓말을 "환각(hallucination)"하는 경향은 더 강해지는 듯 보입니다.

5. 결론

논문은 업계가 단순히 "오류율"(클리커 횟수)만을 보고하는 것을 멈춰야 한다고 결론짓습니다.

과거 방식: "모델 A와 모델 B 모두 58% 틀립니다."
새로운 방식: "모델 A와 모델 B 모두 58% 틀리지만, 모델 A는 시한폭탄(헤비 테일)과 같고, 모델 B는 그저 시끄러운 이웃(라이트 테일)과 같습니다."

권고 사항: AI가 실수를 얼마나 자주 하는지 보고할 때는 반드시 **심각도 분포( $b$ -값)**를 함께 보고해야 합니다. 그것은 모델이 짜증 나는 실수를 자주 하는지, 아니면 파괴적인 거짓말을 하는지 알려주며, 단순한 오류율이 완전히 숨기고 있는 정보를 제공합니다.

이 논문이 주장하지 않는 것:

이 모델들이 특정 실제 작업(의료나 법률 등)에 대해 "안전하다"거나 "안전하지 않다"고 말하는 것이 아닙니다(추가 테스트가 필요함).
더 큰 모델이 전반적으로 "더 나쁘다"고 주장하는 것이 아닙니다. 단지 실패하는 방식이 다를 뿐입니다.
이 문제에 대한 해결책을 제시하는 것이 아니라, 이를 측정하는 방법만을 제시합니다.

기술 요약: ERRORQUAKE: 오픈 가중치 대규모 언어 모델에서의 헤비 테일(Heavy-Tailed) 오류 심각도 분포

1. 문제 정의

표준 환각 벤치마크(예: TruthfulQA, HaluEval)는 모델 성능을 단일 스칼라 오차율( $\varepsilon$ )로 환원하여, 모든 오류를 동일하게 취급합니다. 이러한 접근 방식은 모델 실패의 핵심적인 차원인 **심각도(severity)**를 붕괴시킵니다. 잘못된 출판 날짜를 인용하는 모델과 허구의 판결문을 통째로 조작하는 모델은 모두 $\varepsilon$ 에 단 하나의 카운트만을 기여하지만, 이들이 초래하는 다운스트림 결과는 수십 배 이상의 차이가 있습니다.

본 논문은 정확도가 동일할 때, 오픈 가중치 대규모 언어 모델(LLM)들이 오류 심각도 분포의 형태에서 상당한 차이를 보인다고 주장합니다. 구체적으로, "꼬리 행동(tail behavior)"(경미한 실수 대비 치명적 오류의 빈도)은 모델마다 크게 다르며, 이는 스칼라 오차율로는 포착할 수 없는 특성입니다. 저자들은 지진학에서 아이디어를 빌려와, 구텐베르크-리히터(Gutenberg–Richter) 규모-빈도 관계의 기울기 $b$ ( $\log_{10} N(M \ge m) = a - b m$ )를 사용하여 이 꼬리 행동을 특징짓는 방법을 제안합니다. 작은 $b$ 값은 오류는 적지만 치명적인 오류가 발생함을 나타내며, 큰 $b$ 값은 많은 양의 작은 오류가 발생하지만 그 심각도가 제한적임을 나타냅니다.

2. 방법론

2.1 ERRORQUAKE-10K 벤치마크

저자들은 8개 도메인(BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT)과 5개 난이도 티어(T1–T5)에 걸친 10,000개의 쿼리로 구성된 ERRORQUAKE-10K를 도입합니다.

구조: 도메인당 1,250개 쿼리이며, T1–T2는 쉬운 사실적 쿼리인 반면, T4–T5는 자신감 있는 조작을 유도하도록 설계된 함정 질문을 포함합니다.
평가 모델: 10개 제품군의 데스(dense) 및 MoE 아키텍처를 포함하여, 3B에서 약 37B 활성 파라미터를 가진 21개의 오픈 가중치 지시 조정(instruction-tuned) 모델을 평가했습니다.

2.2 심각도 점수 척도

응답은 0.0–4.0 척도(0.5 단위로 양자화된 9개의 단계)로 점수가 매겨집니다:

0.0: 정답.
0.5–1.0: 핵심 내용은 유지하되 미세한 부정확함이 있음.
1.5–2.0: 중간 정도의 사실적 오류.
**2.5–3.0 상당한 오류로 일반적인 독자를 오도할 수 있음.
3.5–4.0: 조작 (지어낸 정보를 확신 있게 주장함).

2.3 평가 파이프라인

이중 심사 시스템(Dual-Judge System): 각 응답은 대상 모델을 제외한 8개 모델의 라운드 로빈 풀에서 추출된 두 명의 심사자에 의해 점수가 매겨집니다.
집계: 심사자 간 차이가 1.0 이내이면 평균값을 사용하고, 그렇지 않으면 3명 중 중앙값을 사용하며 동점자 처리 규칙을 적용합니다.
인간 검증: LLM 심사 파이프라인을 검증하기 위해 3명의 전문가 인간 평가자가 519개의 층화 표본을 점수 매겼습니다.
- 신뢰도: 인간 평가자 간 신뢰도는 매우 우수합니다 (ICC(2, k=3) = 0.85).
- 상관관계: 인간이 도출한 심각도 순위는 LLM 심사 순위와 강한 상관관계를 보입니다 ( $\rho = 0.89$ ).
- 오버콜(Overcall) 비율: LLM 심사자는 인간(13.7%)에 비해 심각도를 과하게 높게 측정(점수 2.0)하는 비율이 33.5%로 높았습니다.

2.4 통계적 분석

분포 피팅: 양수인 점수들에 대해 다섯 가지 후보 가족군(이산 멱법칙, 절단된 멱법칙, 지수 분포, 스트레치드 지수 분포, 로그 정규 분포)을 피팅합니다.
파라미터 추정: 그리드 양자화된 점수에 격자 수정(discreteness correction)을 적용한 Aki 공식을 사용하여 심각도 분포 지수( $b$ )를 추정합니다.
신뢰 구간: $b$ 의 신뢰 구간을 결정하기 위해 95% 백분위수 부트스트랩(2,000회 재표본 추출)을 사용합니다.

3. 주요 기여

비환원성 정리 (C1): 심각도 프로필( $b$ )과 오차율( $\varepsilon$ )이 정보론적으로 중복되지 않음을 보여주는 이론적 증명입니다. 경험적으로 $I(b; \text{model} \mid \varepsilon) = 1.56$ 비트이며, 이는 $b$ 의 변동성 중 64.5%가 $\varepsilon$ 으로는 설명되지 않음을 의미합니다.
일치된 정확도 식별자 (C3): 오차율이 동일할 때도 $b$ 가 모델을 구별해 낸다는 주요 경험적 발견입니다.
심각도 메커니즘 분류 (C4): 심각도에 따라 오류 메커니즘이 범주적으로 변화함을 보여주는 6가지 분류(검색, 조작, 증폭, 추론, 형식, 메타인지)입니다.
스케일링 상관관계 (C5): 모델 크기와 심각도 꼬리 형태 사이의 관계에 대한 분석입니다.
리소스 공개 (C7): ERRORQUAKE-10K 벤치마크, 점수 산출 툴킷 및 분석 코드를 공개합니다.

4. 주요 결과

4.1 일치된 정확도에서의 식별

21개 모델의 210개 쌍을 대상으로 했을 때, 인간 합의 점수에서 오차율이 일치( $|\Delta\varepsilon| < 0.05$ )함에도 불구하고 $b$ 의 95% 신뢰 구간이 서로 겹치지 않는 쌍이 85개나 존재했습니다.

예시: DEEPSEEK-V3.2와 MINISTRAL-14B는 동일한 오차율( $\varepsilon = 0.586$ )을 갖지만, 꼬리 기울기는 현저히 다릅니다 ( $\Delta b = 0.47$ ).
강건성: 이 결과는 교차 도메인 잭나이프(jackknife), 다른 심사 집계 규칙, 높은 이중 심사 커버리지를 가진 서브셋 전반에서도 유효합니다.

4.2 분포 특성

헤비 테일(Heavy-Tailed) 특성: 21개 모델 중 17개 모델이 지수 분포 계열이 아닌 모델(스트레치드 지수 분포 또는 절단된 멱법칙)에 가장 잘 부합하며, 이는 이산 심각도 그리드 상에서 "헤비 테일"(지수 분포보다 느린 쇠퇴)이 존재함을 확인시켜 줍니다.
운영적 정의: 여기서 "헤비 테일"이란 BIC-최적 가족군이 비지수 분포이거나, 상위 빈도( $M \ge 2.5$ )의 잔여 질량이 지수 분포 예측값보다 더 큰 경우를 의미합니다.

4.3 스케일링 상관관계

데스(Dense) 모델: 모델 크기(로그 활성 파라미터)와 $b$ 값 사이에 음의 상관관계가 있습니다 ( $\rho_s = -0.86$ on human data).
해석: 더 큰 데스 모델은 작은 실수(가파른 벌크 쇠퇴)는 적게 저지르지만, 상대적으로 더 높은 비율의 치명적인 조작(완만한 상위 꼬리)을 수행합니다.
참고: 이 상관관계는 상위 꼬리 기울기에 특화된 것이며, 벌크 쇠퇴율은 이와 반대 방향으로 움직입니다.

4.4 메커니즘 분류

심각도 변화: 낮은 심각도의 오류(0.5–1.0)는 주로 검색(retrieval) 오류(71%)입니다. 높은 심각도의 오류(2.0–4.0)는 주로 조작(fabrication)(39%)입니다.
크기 결합: 작은 모델(3–9B)은 44.7%의 검색 오류를 보이는 반면, 큰 모델(≥24B)은 29.2%의 조작 오류를 보입니다. 큰 모델에서 조작으로 향하는 이러한 변화가 헤비 테일을 만드는 원인입니다.

4.5 예측의 한계

쉬운 티어(T1/T2)에서 $b$ 를 피팅하는 것이 어려운 티어(T4/T5)의 치명적 오류 횟수를 예측할 것이라는 사전 등록 가설은 주요 기준을 충족하는 데 실패했습니다.

결과: 순위 상관관계는 약했으며 ( $\rho_s = 0.443$ ), 절대적인 비율 예측도 실패했습니다 (21개 모델 중 0개가 과대 예측했고, 17개가 과소 예측했습니다).
이유: 어려운 쿼리는 전체 심각도 분포를 위로 끌어올리는데(레벨 시프트), 구텐베르k-리히터 법칙(상대적 기울기를 포착함)은 쉬운 데이터로부터 이를 외삽할 수 없기 때문입니다.

5. 의의 및 주장

본 논문은 심각도 분포가 정확도와 함께 보고되어야 한다고 주장합니다. 왜냐하면 심각도 분포는 오차율이 담지 못하는 차별적 정보를 담고 있기 때문입니다.

정보적 가치: 심각도 프로필은 오차율의 단순한 재진술이 아닙니다. 두 모델이 동일한 정확도를 갖더라도, 치명적 실패의 위험(백만 건의 쿼리당 기대되는 치명적 사건의 수 차이)은 수십 배까지 다를 수 있습니다.
배포 위험: 심각도 분포를 무시하면 위험 진단에 실패하게 됩니다. "헤비 테일"을 가진 모델은 동일한 오차율을 가진 "라이트 테일" 모델보다 치명적인 조작의 위험이 훨씬 높습니다.
스케일링 역설: 스케일링 법칙은 전반적인 정확도를 개선할 수는 있지만, 동시에 잔여 실패의 구성(검색 오류에서 조작으로의 변화)을 악화시킬 수 있으며, 이는 표준 오차율로는 보이지 않는 뉘칙스입니다.

저자들은 이 연구를 단일 숫자로 된 리더보드가 아니라, 고위험 사실적 설정에서 모델 선택 및 감사를 위한 진단 도구로 포지셔닝합니다. 또한 독점적인 프런티어 모델의 제외, LLM 생성 쿼리에 대한 의존성, 마이크로 오류-치명적 사고 예측 작업의 실패 등 한계점을 명시하고 있습니다.