Rethinking the Harmonic Loss via Non-Euclidean Distance Layers

이 논문은 교차 엔트로피 손실의 한계를 극복하고 해석 가능성과 지속 가능성을 향상시키기 위해 유클리드 거리를 다양한 거리 척도로 대체한 조화 손실 (harmonic loss) 을 체계적으로 연구하여, 비유클리드 거리 기반 손실이 비전 및 언어 모델에서 성능과 효율성을 동시에 개선함을 입증했습니다.

핵심

🎓 핵심 아이디어: "정답을 외우게 하지 말고, '위치'를 가르쳐라"

지금까지 AI 를 가르칠 때 가장 많이 쓰인 방법은 **크로스 엔트로피 (Cross-Entropy)**라는 방식이었습니다.
이를 비유하자면, **"시험 문제를 풀 때 정답 번호만 외우게 하는 방식"**과 같습니다.

• 문제점: AI 는 정답을 맞출 확률만 높이면 되므로, 숫자가 무한히 커지는 등 불안정해지기도 하고, 왜 그 답이 맞는지 인간이 이해하기 어렵습니다. (마치 "정답은 A 야"라고만 외우지, A 가 왜 정답인지 설명 못 하는 학생처럼요.)

이 논문은 **'하모닉 손실 (Harmonic Loss)'**이라는 새로운 방식을 제안합니다.
이 방식은 **"정답 번호를 외우는 게 아니라, 정답이 있는 '위치'로 이동하게 하는 것"**입니다.

• 비유: 교실 한가운데 '정답의 중심 (Prototype)'이 있고, 학생 (데이터) 들이 그 중심을 향해 걸어가는 것입니다. 거리가 가까워질수록 점수가 올라갑니다.
• 장점: AI 가 정답의 '핵심'을 이해하게 되어 더 투명하고, 학습이 안정적입니다.

하지만 기존 연구는 이 '거리'를 재는 자로 **유클리드 거리 (일반적인 직선 거리)**만 사용했습니다.
이 논문은 **"자 (거리 측정법) 를 바꿔보면 어떨까?"**라고 질문하며, 다양한 자를 실험했습니다.

---

📏 다양한 '자 (거리 측정법)' 실험

연구진은 유클리드 자 대신 여러 가지 다른 자를 써보았습니다. 마치 지도를 볼 때 "직선 거리"만 재는 게 아니라, "도로 거리", "비행기 거리", "인구 밀도 거리" 등을 재보는 것과 같습니다.

1. 코사인 거리 (Cosine Distance) 🧭

• 비유: "방향"만 중요하고 "거리"는 중요하지 않다는 자입니다.
  • 예: "북쪽을 보고 있는 사람"과 "북쪽을 보고 있는 거인"은 방향이 같으니 같은 사람으로 봅니다.
• 결과: 가장 만능 선수! 이미지 인식과 언어 모델 (LLM) 모두에서 정확도가 높고, 학습이 안정적이며, 탄소 배출량 (에너지) 도 줄여주었습니다. AI 가 더 빨리, 더 깨끗하게 학습하게 도와줍니다.

2. 브레이 - 커티스 거리 (Bray-Curtis) 🌿

• 비유: 생태학에서 쓰이는 자로, "비율"과 "구성"을 비교합니다.
  • 예: "사과 1 개와 배 1 개"와 "사과 10 개와 배 10 개"는 양은 다르지만 구성 비율이 같으니 비슷하다고 봅니다.
• 결과: AI 가 학습한 내용을 해석하기 (Interpretability) 가장 쉽습니다. AI 가 무엇을 배웠는지 인간이 더 잘 이해할 수 있게 해줍니다. 다만, 계산이 조금 더 복잡할 수 있습니다.

3. 마할라노비스 거리 (Mahalanobis) 📐

• 비유: 데이터의 모양을 고려한 '왜곡된 자'입니다.
  • 예: 타원형으로 퍼진 데이터라면, 타원의 긴 축과 짧은 축을 고려해서 거리를 재는 자입니다.
• 결과: 매우 정교하게 데이터를 구분하지만, 계산 비용이 비싸고 에너지 소비가 큽니다. "정밀하지만 비싼 고급 자"라고 생각하시면 됩니다.

---

🌍 세 가지 목표: "성적, 투명성, 환경"의 균형

이 연구는 AI 를 평가할 때 세 가지 기준을 동시에 봅니다.

1. 성적 (Accuracy): 시험 점수가 잘 나오는가?
2. 투명성 (Interpretability): 왜 그 답을 냈는지 인간이 이해할 수 있는가? (블랙박스 아님)
3. 환경 (Sustainability): 학습하는 데 전기와 탄소 배출이 얼마나 드는가? (그린 AI)

🏆 연구의 결론:

• 코사인 거리를 사용하는 하모닉 손실이 가장 완벽한 균형을 이룹니다. 점수도 잘 나오고, 해석도 쉽고, 환경에도 좋습니다.
• 기존에 쓰이던 방식 (크로스 엔트로피) 보다 학습이 더 안정적입니다. (특히 '그로킹 (Grokking)'이라는 현상, 즉 갑자기 이해하는 현상을 막아줍니다.)
• 에너지 효율: AI 학습은 엄청난 전기를 먹습니다. 이 연구에 따르면, 자 (거리 측정법) 를 잘 고르면 탄소 배출을 줄이면서도 더 좋은 성능을 낼 수 있습니다.

---

💡 요약: 왜 이 연구가 중요한가?

지금까지 AI 를 가르칠 때는 "정답만 맞추면 돼"라는 방식 (크로스 엔트로피) 이 대세였습니다. 하지만 이 논문은 **"정답의 '위치'를 가르치고, 그 거리를 재는 '자'를 잘 고르면 AI 가 더 똑똑하고, 투명하며, 환경에도 좋은 친구가 될 수 있다"**고 말합니다.

특히 코사인 거리라는 자를 사용하면, AI 가 더 빨리 배우고 (성적 UP), 우리가 그 이유를 더 잘 이해할 수 있으며 (투명성 UP), 전기세도 아낄 수 있습니다 (환경 UP).

이 연구는 AI 개발자들이 **"어떤 자를 쓸지"**만 잘 선택해도 AI 의 미래를 바꿀 수 있다는 희망을 보여줍니다.

기술 요약

논문 요약: 비유클리드 거리 계층을 통한 조화 손실 (Harmonic Loss) 의 재고찰

이 논문은 딥러닝 분류 작업에서 표준으로 사용되는 교차 엔트로피 (Cross-Entropy, CE) 손실 함수의 한계를 극복하고, **조화 손실 (Harmonic Loss)**을 비유클리드 거리 척도 (Non-Euclidean Distance Metrics) 로 확장하여 모델의 성능, 해석 가능성, 지속 가능성 (Green AI) 을 동시에 개선하는 방법을 제시합니다.

1. 문제 제기 (Problem)

기존 딥러닝 분류 모델은 교차 엔트로피 손실을 주로 사용합니다. 그러나 CE 는 다음과 같은 근본적인 문제점을 가집니다:

• 해석 가능성 부족: 학습된 가중치 벡터가 추상적인 매개변수로만 작용하여 클래스의 중심 (Prototype) 을 직관적으로 반영하지 못합니다.
• 무한한 가중치 성장: 확신 있는 예측을 위해 가중치가 무한히 커지는 현상이 발생하며, 이는 그로킹 (Grokking) 현상 (학습 데이터에는 과적합되지만 테스트 데이터에서는 지연된 일반화가 발생하는 현상) 을 유발할 수 있습니다.
• 비효율성: 고비용의 학습 동역학과 높은 탄소 배출량을 초래할 수 있습니다.

이러한 문제들을 해결하기 위해 Baek et al. (2025) 이 제안한 **조화 손실 (Harmonic Loss)**은 유클리드 거리를 기반으로 하여 가중치를 클래스 중심 (Prototype) 으로 해석 가능하게 만들었으나, 여전히 유클리드 거리만 사용하고 있으며 다양한 거리 척도의 계산 효율성과 지속 가능성에 대한 체계적인 평가가 부족했습니다.

2. 방법론 (Methodology)

저자들은 조화 손실 프레임워크를 확장하여 유클리드 거리를 다양한 비유클리드 거리 척도로 대체하는 연구를 수행했습니다.

핵심 접근법

• 조화 손실의 일반화: 기존 조화 손실의 확률 계산식에서 유클리드 거리 ($L_2$) 를 다른 거리 함수로 대체합니다.
  • $p_W(y_k|x) = \frac{d_k^{-n}}{\sum_{j=1}^K d_j^{-n}}$ (여기서 $d_k$는 선택된 거리 척도)
• 검토된 거리 척도:
  • 기하학적 거리: 맨해튼 ($L_1$), 체비셰프 ($L_\infty$), 민코프스키 ($L_p$), 마할라노비스 (Mahalanobis).
  • 각도 및 비율 기반: 코사인 (Cosine), 캔버라 (Canberra), 브레이 - 커티스 (Bray-Curtis).
  • 이산적 거리: 해밍 (Hamming, 연속적 완화 적용).
• 실험 설정:
  • 비전 (Vision): MLP, CNN, ResNet-50, PVTv2-B0 아키텍처를 MNIST, CIFAR-10/100, Marathi Sign Language, TinyImageNet 데이터셋에 적용.
  • 언어 (Language): GPT, BERT, Qwen2 기반의 LLM 을 OpenWebText 코퍼스에서 사전 학습 (Pre-training) 및 미세 조정.
  • 평가 지표:
    1. 성능: 정확도, F1 점수, 퍼플렉시티 (Perplexity).
    2. 해석 가능성: 주성분 분석 (PCA) 분산 설명률 (EV), 클래스 중심의 구조화 정도, 그로킹 현상 감소 여부.
    3. 지속 가능성: 학습 시간, 에너지 소비, $CO_2$ 배출량 (CodeCarbon 활용).

3. 주요 기여 (Key Contributions)

1. 비유클리드 조화 손실의 체계적 평가: 유클리드 거리를 넘어선 다양한 거리 척도가 비전 및 NLP 작업에서 어떻게 작동하는지 최초로 광범위하게 벤치마킹했습니다.
2. 3 차원 트레이드오프 분석: 정확도, 해석 가능성, 지속 가능성 (Green AI) 간의 균형을 정량적으로 분석했습니다.
3. 이론적 및 실증적 통찰:
   • $L_1$ 손실이 중앙값 기반의 클래스 중심을, $L_2$가 평균 기반의 중심을 형성한다는 이론적 통찰을 제공했습니다.
   • 코사인 거리가 최적의 균형점을 제공함을 입증했습니다.
4. 오픈 소스 코드: 연구에 사용된 모든 코드와 실험 설정을 공개했습니다.

4. 실험 결과 (Results)

4.1 모델 성능 (Model Performance)

• 비전 작업: 코사인 (Cosine) 기반의 조화 손실이 가장 일관된 성능을 보였습니다. CIFAR-100 및 TinyImageNet과 같은 복잡한 데이터셋에서 정확도와 F1 점수가 교차 엔트로피 및 유클리드 조화 손실보다 우수하거나 동등한 수준을 유지했습니다.
• 언어 모델: 코사인 기반 손실은 GPT, BERT, Qwen 모델에서 **경사 안정성 (Gradient Stability)**을 향상시키고, 퍼플렉시티를 낮추며, 표현의 구조를 강화했습니다.
• 그로킹 (Grokking) 제거: 모듈러 덧셈 (Modulo Addition) 과 같은 합성 작업에서 교차 엔트로피는 명백한 그로킹 현상을 보인 반면, 모든 비유클리드 조화 손실 (유클리드, 코사인, 맨해튼 등) 은 지연된 일반화 없이 즉시 일반화되는 것을 확인했습니다.

4.2 해석 가능성 (Interpretability)

• 구조화된 표현: 비유클리드 거리 (특히 Bray-Curtis, Chebyshev, Cosine) 를 사용한 모델은 학습된 특징 공간이 클래스 중심에 더 잘 정렬되고, PCA 분산이 상위 주성분에 집중되는 경향이 있었습니다.
• 차원 축소: 유클리드 거리나 교차 엔트로피에 비해 90% 분산을 설명하는 데 필요한 주성분 (PC) 의 수가 감소하여 더 컴팩트하고 해석 가능한 표현을 생성했습니다.
• 기하학적 시각화: 코사인 손실은 특징이 초구면 (Hypersphere) 위에 배치되어 각도 기반으로 분류되는 명확한 기하학적 구조를 보여주었습니다.

4.3 지속 가능성 (Sustainability & Efficiency)

• 탄소 배출:
  • 비전 작업: CNN 및 ResNet-50 과 같은 컨볼루션 아키텍처에서 코사인 및 Bray-Curtis 손실은 교차 엔트로피 대비 탄소 배출을 감소시켰습니다. 이는 더 빠른 수렴 속도와 안정적인 학습 동역학 때문입니다.
  • 언어 작업: LLM 의 경우 분류 헤드가 전체 계산량의 작은 부분을 차지하므로, 거리 계산의 추가 비용은 미미했습니다. 코사인 기반 손실은 교차 엔트로피와 유사하거나 더 낮은 배출량을 보였습니다.
  • 예외: 마할라노비스 (Mahalanobis) 거리는 공분산 행렬 추정 및 역행렬 계산으로 인해 계산 비용이 높아 탄소 배출이 증가하는 경향이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 딥러닝 분류 레이어의 기하학적 구조를 재설계함으로써 다음과 같은 의의를 가집니다:

1. Green AI 실현: 성능을 희생하지 않으면서 탄소 배출을 줄일 수 있는 실용적인 손실 함수 (특히 코사인 기반 조화 손실) 를 제시했습니다.
2. 해석 가능한 AI: 모델의 가중치를 클래스의 의미 있는 중심 (Prototype) 으로 직접 해석할 수 있게 하여, 의료나 금융과 같은 고위험 분야에서 모델의 신뢰성을 높입니다.
3. 학습 동역학 개선: 그로킹 현상을 방지하고 학습 과정을 더 안정적으로 만들어, 데이터 효율성을 높입니다.
4. 실용적 가이드라인:
   • 일반적인 추천: 코사인 (Cosine) 거리는 정확도, 해석 가능성, 지속 가능성 측면에서 가장 균형 잡힌 선택입니다.
   • 해석 가능성 중시: Bray-Curtis나 Chebyshev는 해석 가능성 향상에 유리합니다.
   • 계산 비용 고려: 마할라노비스는 해석 가능성은 높지만 계산 비용이 크므로 신중하게 사용해야 합니다.

결론적으로, 비유클리드 거리 기반의 조화 손실은 단순한 대안 손실 함수를 넘어, 더 투명하고, 효율적이며, 환경 친화적인 딥러닝 모델을 구축하기 위한 강력한 도구로 자리 잡았습니다.