💬 NLP

Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

이 사전 등록 연구는 CIFAR-10 데이터셋에서 교차 엔트로피 (CE) 손실 함수가 K-방식 에너지 프로브가 소프트맥스 함수로 근사된다는 가설의 핵심적인 실증적 기반임을 확인하고, CE 제거 시 프로브와 소프트맥스 간의 간격이 크게 줄어들며 CE 가 출력 로짓의 규모와 순위 기반 표현력 모두에 결정적인 역할을 함을 규명했습니다.

원저자: Jon-Paul Cacioli

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jon-Paul Cacioli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 인공지능 (AI) 이 "자신이 정답을 맞췄는지 얼마나 확신하는지"를 판단하는 능력 (메타인지) 을 측정할 때, 우리가 흔히 쓰는 **'교차 엔트로피 (Cross-Entropy, CE)'**라는 수학적 도구가 얼마나 큰 영향을 미치는지 실험한 연구입니다.

너무 어렵게 들리시나요? 쉽게 비유해서 설명해 드릴게요.

🎯 핵심 비유: "점수판과 점수계산기"

이 실험은 두 가지 다른 방식의 점수판을 비교하는 이야기입니다.

기존 방식 (Softmax): AI 가 정답을 맞췄을 때, 점수판이 "정답입니다!"라고 엄청나게 큰 소리로 외치는 방식입니다. (논리적으로 매우 확실해 보이지만, 실제로는 AI 가 너무 과신할 수도 있습니다.)
새로운 방식 (Energy Probe): AI 가 정답을 맞췄을 때, 점수판이 "정답일 확률이 높아요"라고 조용하고 차분하게 계산하는 방식입니다.

연구자들은 "새로운 방식이 기존 방식보다 더 정확할까?"라고 궁금해했습니다. 하지만 이전 연구에서는 "아니요, 기존 방식이 항상 더 잘해요"라는 결과가 나왔습니다.

🔍 이 연구가 발견한 놀라운 사실

이 연구는 "왜 기존 방식이 항상 이기는 걸까?" 그 이유를 파헤쳤습니다. 결론은 매우 단순하지만 충격적입니다.

"기존 방식이 이긴 건, 점수판이 '소리를 너무 크게' 내서였어요."

과도한 확신 (Logit Scale): 기존 방식 (CE) 을 쓰는 AI 는 정답을 맞췄을 때 점수판의 숫자를 15 배나 더 크게 만들어버립니다. 마치 "정답입니다!"라고 100 점 만점에 100 점이라고 외치는 대신, 1500 점이라고 외치는 것과 같습니다.
비교의 불공정: 이렇게 점수가 터무니없이 커지면, 기존 방식 (Softmax) 이 무조건 이기는 것처럼 보입니다. 하지만 이는 AI 의 지능이 뛰어나서가 아니라, **점수판의 설정 (Scale)**이 불공정해서였습니다.

🧪 실험 내용: "소리 줄이기"

연구자들은 이 불공정을 해결하기 위해 두 가지 실험을 했습니다.

소리 줄이기 (온도 조절): 기존 방식의 점수판 숫자를 인위적으로 줄여서 (1500 점을 100 점 수준으로), 새로운 방식과 똑같은 규모로 맞췄습니다.
- 결과: 기존 방식이 이기던 격차가 약 66%나 줄어들었습니다. 즉, "과도한 확신"이 문제의 3 분의 2 를 차지하고 있었습니다.
점수판 바꾸기 (CE 제거): 아예 점수판 자체를 바꿔서, 숫자를 크게 부르는 방식 (CE) 을 쓰지 않고, 그냥 차분하게 계산하는 방식 (MSE) 으로 바꿨습니다.
- 결과: 새로운 방식 (Energy Probe) 이 기존 방식보다 오히려 더 잘하는 경우가 나옵니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 다음과 같은 중요한 메시지를 전달합니다.

AI 의 '자신감'은 훈련 방식에 따라 달라집니다: AI 가 얼마나 자신 있게 답을 내놓는지는, AI 의 구조 (건축) 보다는 어떤 점수판 (훈련 방법) 을 썼는지에 더 크게 영향을 받습니다.
공정한 비교가 필요합니다: 새로운 AI 기술을 평가할 때, 기존 방식과 그냥 비교하면 안 됩니다. 기존 방식이 "과도한 확신"을 가지고 있다면, 그 확신을 줄인 뒤 (온도 조절) 비교해야 진짜 실력을 알 수 있습니다.
새로운 방식의 가능성: 우리가 쓰던 '과도한 확신'을 제거하면, AI 가 내부적으로 정답을 추론하는 새로운 방식 (Energy Probe) 이 기존 방식보다 더 나을 수도 있다는 희망을 줍니다.

📝 한 줄 요약

"AI 가 정답을 맞췄을 때, 기존 방식이 이긴 건 AI 가 더 똑똑해서가 아니라, 점수판이 너무 크게 소리쳤기 때문입니다. 소리를 줄이면 새로운 방식도 충분히 경쟁력이 있습니다."

이 연구는 AI 의 '자신감'을 측정할 때, 단순히 점수만 보는 것이 아니라 그 점수가 어떻게 계산되었는지를 꼼꼼히 살펴봐야 함을 경고하고 있습니다.

1. 연구 배경 및 문제 제기 (Problem)

배경: Cacioli [2026] 는 표준 판별형 예측 코딩 (Predictive Coding, PC) 네트워크에서 **K-방식 에너지 프로브 (K-way energy probe)**가 로그-소프트맥 (log-softmax) 마진에 대한 단조 함수로 근사화된다는 분해 (decomposition) 를 제시했습니다. 이 분해는 5 가지 가정 (A1~A5) 에 의존하며, 그 중 **A1(출력에서의 교차 엔트로피, CE 사용)**과 **A3(효과적인 순방향 추론 역학)**이 핵심입니다. 이 분해에 따르면 에너지 프로브는 소프트맥 (softmax) 보다 낮은 성능을 보여야 합니다.
문제: Cacioli [2026] 의 분해가 적용되지 않는 영역 (예: 양방향 PC, CE 가 없는 에너지 형식 등) 에서는 이 예측이 어떻게 변하는지 명확하지 않았습니다. 특히, 출력에서의 교차 엔트로피 (CE) 제거가 분해의 핵심 요소인지, 아니면 **양방향 역학 (bidirectional dynamics)**의 변화가 더 중요한지 실증적으로 검증할 필요가 있었습니다.
목표: 본 연구는 CE 가 분해의 '하중을 지는 (load-bearing)' 핵심 구성 요소인지, 그리고 CE 제거가 에너지 프로브와 소프트맥 간의 성능 격차에 어떤 영향을 미치는지 사전 등록 (pre-registered) 된 범위 테스트를 통해 검증하는 것입니다.

2. 연구 방법론 (Methodology)

실험 설계: CIFAR-10 데이터셋을 사용하여 210 만 개 파라미터 (TinyConv) 의 동일한 백본 아키텍처를 기반으로 3 가지 조건을 비교했습니다. 10 개의 시드 (seed) 로 실험을 반복하여 통계적 유의성을 확보했습니다.
1. stdPC-CE (기준): 표준 판별형 PC + 출력에서 교차 엔트로피 (CE) 손실 사용. (Cacioli [2026] 의 재현 조건)
2. stdPC-MSE (A1 격리): 표준 판별형 PC + 출력에서 CE 대신 평균 제곱 오차 (MSE) 사용. (역학은 동일하게 유지하며 CE 제거 효과만 격리)
3. bPC (양방향 PC): Oliviers et al. [2025] 의 양방향 PC. CE 없음, 양방향 MSE 에너지 사용. (A1, A3, A5 모두 위반)
평가 지표:
- K-way 에너지 프로브: K=10 개의 후보 클래스를 클램핑 (clamp) 하고 추론을 수렴시킨 후 총 에너지를 측정.
- 소프트맥 베이스라인: 피드포워드 출력 로짓 (logits) 에서의 소프트맥 확률.
- 주요 결과치 ( $\Delta$ ): 프로브의 Type-2 AUROC(정답/오답 구분 능력) 에서 소프트맥의 Type-2 AUROC 를 뺀 값 ( $\Delta = \text{AUROC}_{\text{probe}} - \text{AUROC}_{\text{softmax}}$ ).
사전 등록 가설:
- H3 (조작 검증): bPC 가 표준 PC 보다 잠재 공간 이동 (latent movement) 이 10 배 이상 커야 함.
- H2 (재현): stdPC-CE 에서 $\Delta < 0$ 이어야 함.
- H1 (주요 검증): bPC 에서 $\Delta > \text{stdPC-CE}$ 이어야 함.

3. 주요 결과 (Key Results)

재현성 확인 (H2):
- stdPC-CE 조건에서 프로브는 소프트맥보다 성능이 낮았습니다 ( $\Delta = -0.082, p < 10^{-6}$ ). Cacioli [2026] 의 결과가 다중 시드 조건에서도 재현되었습니다.
조작 검증 실패 (H3):
- bPC 가 표준 PC 보다 잠재 공간 이동이 10 배 이상 크다는 가설은 기각되었습니다. 실제 이동 비율은 약 1.6 배에 불과했습니다. 이는 bPC 가 이 규모 (TinyConv) 에서 역학적 변화를 충분히 일으키지 못했음을 의미합니다.
CE 제거의 효과 (H1 및 H4):
- stdPC-MSE (CE 제거): CE 를 MSE 로만 교체한 경우, 프로브 - 소프트맥 격차가 절반으로 줄어든 것으로 나타났습니다 ( $\Delta = -0.037$ ). 이는 CE 제거가 격차 감소의 주요 원인임을 시사합니다.
- bPC (CE 제거 + 양방향): 모든 10 개 시드에서 프로브가 소프트맥을 능가했습니다 ( $\Delta = +0.008$ ). 그러나 이는 역학적 변화 때문이 아니라 CE 제거의 결과로 해석됩니다.
로그릿 스케일 (Logit Scale) 의 발견:
- CE 학습: 출력 로짓의 L2 노름이 약 11.5로 매우 큽니다.
- MSE/bPC 학습: 로짓 노름이 약 0.78로 CE 대비 약 15 배 작습니다.
- CE 학습은 올바른 클래스의 로짓을 비정상적으로 크게 만들어 소프트맥 분포를 급격하게 만듭니다.
온도 스케일링 (Temperature Scaling) 분석 (사후 분석):
- CE 학습 모델의 로짓을 온도 $T \approx 15$ 로 스케일링하여 MSE 조건과 로짓 크기를 맞췄습니다.
- 결과: 프로브 - 소프트맥 격차의 약 **66%**가 로짓 스케일 효과 (온도 조절로 제거 가능) 에 기인했습니다.
- 나머지 34%: 스케일과 무관한 순위 (ranking) 우위입니다. CE 는 올바른 클래스에 대한 로그 확률을 직접 최적화하는 '적절한 스코어링 규칙 (proper scoring rule)'이므로, 스케일을 보정해도 여전히 소프트맥이 프로브보다 정확도와 더 잘 상관관계를 가집니다.

4. 주요 기여 및 결론 (Contributions & Significance)

교차 엔트로피 (CE) 의 핵심 역할 규명:
- Cacioli [2026] 의 분해가 성립하려면 출력에서의 CE 가 필수적입니다. CE 를 제거하면 에너지 프로브가 소프트맥보다 열등하다는 결론이 깨지며, 오히려 동등하거나 우월한 성능을 보입니다.
- CE 는 단순히 소프트맥 베이스라인을 부풀리는 (inflation) 역할만 하는 것이 아니라, 스케일 보정 후에도 남는 34% 의 순위 우위를 통해 더 나은 표현을 학습시킵니다.
역학적 변화의 부재:
- bPC 의 양방향 역학이 이 규모에서 유의미한 성능 향상을 가져오지 못했습니다. bPC 의 성능 향상은 역학 때문이 아니라 CE 가 제거되었기 때문입니다.
메타인지 평가의 함의:
- 신경망의 메타인지 (Type-2 판단) 를 평가할 때, CE 로 학습된 모델의 원래 (raw) 소프트맥을 베이스라인으로 삼는 것은 공정하지 않을 수 있습니다.
- **온도 스케일링된 소프트맥 (temperature-scaled softmax)**이 CE 로 학습된 모델의 구조적 프로브와 비교할 때 더 공정한 기준이 될 수 있음을 시사합니다.
연구의 한계:
- bPC 의 역학 조작이 실패했으므로, 역학 자체의 영향을 독립적으로 검증하지는 못했습니다.
- 실험은 TinyConv (2.1M 파라미터) 와 CIFAR-10 만 사용했으므로, 더 깊은 아키텍처나 다른 데이터셋에서는 결과가 다를 수 있습니다.

5. 요약

이 논문은 예측 코딩 네트워크에서 교차 엔트로피 (CE) 손실 함수의 유무가 에너지 프로브와 소프트맥의 성능 비교에 결정적인 영향을 미친다는 것을 실증적으로 증명했습니다. CE 가 제거되면 (MSE 사용 또는 양방향 PC), 에너지 프로브는 소프트맥보다 열등하지 않게 됩니다. 이 격차의 약 2/3 는 CE 로 인한 로짓 스케일 과대평가 때문이며, 나머지 1/3 은 CE 가 제공하는 순수한 순위 학습 능력 때문입니다. 따라서 구조적 프로브의 성능을 평가할 때는 학습 목표 (CE 여부) 와 로짓 스케일을 고려한 보정이 필수적입니다.