🤖 machine learning

A Compositional Theory of Curvature in Probabilistic Circuits

본 논문은 확률적 회로(Probabilistic Circuits)의 구성적 곡률 구조(compositional curvature structure)로 인해 전역적 샤프니스 정규화(global sharpness regularization)가 차선책임을 입증하고, 폐쇄형 EM 업데이트를 유지하면서도 일반화 성능을 회복하는 적응형 국소 타겟 정규화 기법을 제안한다.

원저자: Hrithik Suresh, Sahil Sidheekh, Shelar Parth Vijay, Yasir Z, Sriraam Natarajan, Narayanan Chatapuram Krishnan

게시일 2026-08-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hrithik Suresh, Sahil Sidheekh, Shelar Parth Vijay, Yasir Z, Sriraam Natarajan, Narayanan Chatapuram Krishnan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

학습의 형태: 왜 평평한 것이 항상 더 나은 것은 아닌가

당신이 컴퓨터에게 사진 속의 고양이를 인식하거나 날씨를 예측하는 것처럼 세상을 이해하는 법을 가르치려 한다고 상상해 보십시오. 인공지능의 세계에는 **확률 회로(Probabilistic Circuits)**라고 불리는 특별한 모델 가족이 있습니다. 이들을 오늘날의 챗봇을 구동하는 거대하고 무질서한 신경망이 아니라, 매우 조직적이고 논리적인 순서도라고 생각하십시오. 이들은 엄격한 규칙에 따라 구축되어 마법 같은 일을 수행할 수 있습니다. 바로 추측이나 근사치를 필요로 하지 않고도 어떤 사건이 발생할 정확한 확률을 계산할 수 있다는 점입니다. 이는 의료 진단이나 자율 주행처럼 틀리는 것이 허용되지 않는 작업에서 이들을 믿을 수 있게 만들어 줍니다.

하지만 시험 공부를 위해 밤을 새우는 학생처럼, 이 회로들도 때때로 "과적합(overfit)"될 수 있습니다. 이는 모델이 훈련 데이터를 너무 완벽하게 암기하여, 데이터에 포함된 모든 무작위 노이즈와 특이점까지 다 외워버린 나머지 일반적인 규칙을 이해하지 못하는 현상을 말합니다. 이를 해결하기 위해 과학자들은 종-종 학습 과정의 "형태"를 살핍니다. 그들은 모델이 가능성의 풍경 속에서 "평평한" 골짜기에 자리 잡기를 원하는데, 왜냐하면 평평한 지점이 보통 더 안정적이며 새로운 데이터에 대해 더 잘 일반화되기 때문입니다. 이를 위한 표준 도구는 "전역적 날카로움(global sharpness)" 체크인데, 이는 전체 풍경이 얼마나 울퉁불퉁한지를 측정하고 모든 것을 균등하게 매끄럽게 만들려고 시도합니다. 하지만 만약 모든 것을 매끄럽게 만드는 것이 오히려 모델을 더 나쁘게 만든다면 어떨까요? 만약 문제가 전체 풍경이 아니라, 그 안에 숨겨진 몇 개의 특정하고 들쭉날쭉한 바위 때문이라면 어떨까요? 이것이 바로 한 연구팀이 해결하고자 했던 퍼즐입니다.

"평평함"의 실수라는 퍼즐

Hrithik Suresh와 Sahil Sidheekh가 이끄는 연구진은 확률 회로를 매끄럽게 만드는 기존 방식이 실제로 목표를 놓치고 있다는 것을 발견했습니다. 그들은 모델 전체를 평평하게 만들어야 할 하나의 커다란 균일한 객체로 취급하는 것이 실수라는 것을 알아냈습니다. 실제로 그들이 전체를 평평하게 만들려고 시도했을 때, 모델들은 종종 "과소적합(underfit)"되기 시작했습니다. 즉, 기술적으로는 더 평평한 곳에 위치했음에도 불구하고, 모델이 너무 단순해져서 데이터를 제대로 학습하지 못하게 된 것입니다.

이유를 이해하기 위해 연구팀은 회로 내부를 들여다보았고, 모델의 "날카로움"(또는 울퉁불퉁함)이 단일한 전역적 요소가 아님을 발견했습니다. 대신, 그것은 두 가지 매우 다른 재료가 혼합된 구성적(compositional) 성질을 가지고 있었습니다. 그들은 수학적으로 증명했는데, 회로의 어떤 단일 부분이 전체 날카로움에 기여하는 정도는 다음 두 가지 요소의 곱이라는 것입니다:

맥락적 사용량(Contextual Usage): 해당 회로의 부분에 얼마나 많은 교통량이 흐르는가. 마치 번화한 교차로를 상상해 보십시오. 도로 자체가 매끄럽더라도, 매초 수백만 대의 차량이 통과한다면 그곳은 교통 시스템의 주요 부분으로 느껴질 것입니다.
국소적 곡률(Local Curvature): 교통량과 상관없이 그 특정 도로 자체가 얼마나 울퉁불퉁한가.

저자들은 기존의 "전역적" 방식이 마치 도시 계획가가 교통 체증을 보고는 도시 전체를 포장하여 더 매끄럽게 만들기로 결정하는 것과 같다고 설명했습니다. 하지만 실제로는 교통 체증이 주요 경로에 우연히 위치한 몇 개의 구멍 난 측도(side streets) 때문에 발생한 것이었습니다. 도시 전체를 매끄럽게 만들려고 시도함으로써, 계획가는 완벽하고 매끄러운 주 도로들을 망쳐놓았고, 결국 전체 시스템의 효율성을 떨어뜨렸습니다.

"문지기" 솔루션

이 논문은 전역적 방식이 실패하는 이유가 "번잡함"과 "울퉁불퉁함"을 혼동하기 때문이라고 주장합니다. 회로의 한 부분이 계속 사용되기 때문에(높은 교통량) 전체 날카로움에 많이 기여할 수도 있지만, 그것이 실제로 들쭉날쭉하기 때문은 아닐 수 있습니다. 반대로, 어떤 부분은 믿을 수 없을 정도로 울퉁불퉁할 수 있지만(깊은 구멍), 교통량이 없는 조용한 옆길에 위치하여 전역적 방식에 의해 무시될 수도 있습니다.

이를 해결하기 위해 연구진은 모델을 매끄럽게 만드는 더 똑똑한 방법을 제안했습니다. 모델의 모든 부분에 균일한 "평평함" 페널티를 적용하는 대신, 그들은 **적응형 정규화 도구(adaptive regularizer)**를 도입했습니다. 이것은 마치 똑똑한 문지기와 같습니다. 모델이 회로의 특정 부분을 매끄럽게 하기 전에, 문지기는 다음과 같이 확인합니다: "이 부분이 실제로 자체적으로 울퉁불퉁한가?"

만약 그 부분이 본질적으로 울퉁불퉁하다면(높은 국소 곡률), 문지기는 문을 활짝 열고 강한 매끄러움 페널티를 적용합니다.
만약 그 부분이 그저 바쁠 뿐 이미 매끄러운 상태라면, 문지기는 그대로 두어 모델이 복잡한 패턴을 학습할 수 있는 능력을 보존하게 합니다.

이 접근 방식은 모델이 (데이터를 적합시키는) "근육"을 유지하면서도, 실제로 문제를 일으키는 특정 지점들만을 부드럽게 만들 수 있게 해줍니다.

연구 결과

연구팀은 이 아이디어를 단순한 이진 데이터부터 교통사고나 오디오 파일 같은 더 복잡한 실제 시나리오에 이르는 20가지의 서로 다른 데이터셋에 대해 테스트했습니다. 결과는 명확했습니다:

전역적 방식의 실패: 기존의 균일한 매끄러움 방식을 사용했을 때, 모델은 종종 더 나빠졌습니다. 모델은 더 평평해지긴 했지만, 동시에 정확도가 떨어졌으며 데이터의 미묘한 차이를 포착하는 데 실패했습니다. 많은 경우, 모델은 "과소적합"되어 본질적으로 데이터를 학습하기에는 너무 단순해졌습니다.
적응형 방식의 승리: 새로운 "문지기" 접근 방식을 사용했을 때, 모델은 정확도를 유지했습니다. 모델은 데이터를 적합시키는 능력을 희생하지 않으면서도 위험한 날카로움을 줄이는 데 성공했습니다. 실제로 여러 데이터셋에서 새로운 방식은 규제되지 않은 모델과 기존의 전역적 방식 모두보다 더 나은 성능을 보였습니다.

연구진은 또한 기존 방식이 왜 실패했는지 보여주기 위해 데이터를 시각화했습니다. 그들은 회로 노드의 아주 작은 부분(10% 미만)이 거의 모든 "전역적 날카로움" 신호를 책임지고 있다는 것을 발견했습니다. 그러나 그 상위 기여 노드들만을 수정하려고 했을 때, 모델은 오히려 더 악화되었습니다. 이는 가장 "바쁜" 노드가 반드시 가장 "울퉁불퉁한" 노드는 아니라는 점을 입증했습니다. 전역적 신호가 실제 기하학적 굴곡이 아니라 교통량에 의해 하이재킹(hijacked)되었던 것입니다.

시사점

이 논문은 단순히 새로운 기술을 제공하는 것이 아니라, 이러한 모델이 학습하는 방식에 대한 새로운 사고방식을 제시합니다. 이는 확률 회로에서 전체 시스템을 하나의 덩어리로 취급해서는 안 된다는 것을 보여줍니다. 외부에서 보이는 "날카로움"은 해당 부분이 얼마나 많이 사용되는지와 실제로 얼마나 울퉁불퉁한지의 혼합물임을 이해해야 합니다. 이 두 요소를 분리함으로써, 저자들은 어디에 압력을 가하고 어디에서 모델이 숨을 쉴 수 있게 할지를 정확히 아는 방법을 만들어냈습니다.

이 연구는 이러한 모델을 견고하게 만드는 미래가 모든 것을 평평하게 만드는 것이 아니라, 어디에 굴곡이 있는지 정밀하게 파악하는 데 있다는 것을 시사합니다. 이는 "일률적인(one-size-fits-all)" 접근 방식에서 맞춤형의 정밀한 처방으로의 전환입니다. 비록 이 논문이 이러한 특정 회로에 초점을 맞추고 있지만, "번잡함"이 항상 "고장 남"을 의미하는 것은 아니라는 생각은 다른 복잡한 학습 시스템을 이해하는 데도 귀중한 교훈이 될 수 있습니다. 저자들은 이러한 분해가 더 똑똑한 방식으로 이러한 지능형 시스템을 설계, 압축 및 보호할 수 있는 길을 열어준다고 결론짓습니다. 이를 통해 이 시스템들이 예리하면서도 신뢰할 수 있는 상태를 유지하도록 보장할 수 있습니다.

기술 요약: 확률적 회로의 곡률에 관한 구성적 이론

문제 정의

확률적 회로(Probabilistic Circuits, PCs)는 정확한 추론을 지원하며 음의 로그 가능도(NLL)의 헤시안 트레이스(Hessian trace)라는 다루기 쉬운 곡률 측도를 제공하는 생성 모델이다. 최근 연구들은 전역적인 정규화 도구로서 이 트레이스를 활용하여 학습을 더 평탄한 최적점(flatter optima)으로 유도함으로써, 데이터가 적은 환경에서의 일반화 성능을 높이고자 했다. 그러나 본 논문은 곡률을 단일한 전역적 척도로 취급하는 것이 결정적인 결함이 있음을 지적한다. 경험적 관찰 결과, 전역 트레이스 정규화는 데이터가 많은 환경에서 훈련 및 테스트 로그 가능도를 모두 낮추어 과소적합(underfitting)을 초러를 유발하는 것으로 나타났다. 더욱이 곡률의 분포는 매우 불균일하며, 극소수의 합 노드(sum nodes)가 거의 모든 전역적 날카로움(sharpness)을 차지한다. 결정적으로, 전역적 기여도에 기반하여 이러한 고기여 노드들에만 정규화를 제한하는 방식은 성능을 더욱 악화시키는데, 이는 전역적 기여도가 정규화 할당을 위한 신호로서 부적절함을 시사한다.

방법론

저자들은 합 노드의 전역 헤시안 트레이스 기여도를 두 가지 별개의 요소로 분해하는 **곡률의 구성적 이론(compositional theory of sharpness)**을 제안한다.

정확한 분해:
본 논문은 합 노드 $n$ 의 전역 트레이스 기여도 $T_n(x)$ 가 다음과 같이 정확하게 인수분해됨을 증명한다:
$T_n(x) = F_n(x)^2 \cdot t_n(x)$
- 맥락적 사용량 ( $F_n(x)^2$ ): 이 항은 노드 $n$ 을 통해 흐르는 회로의 제곱 흐름(squared circuit flow)을 나타내며, 입력 $x$ 를 설명하는 데 해당 노드가 얼마나 강하게 활용되는지를 측정한다. 이는 표준 회로 흐름 재귀로부터 유도된다.
- 국소 곡률 ( $t_n(x)$ ): 이 항은 노드의 출력 분포에 의해서만 결정되는 국소적 척도이다. 저자들은 합 노드의 국소 헤시안이 랭크-1(rank-one)이며, 그 유일한 0이 아닌 고윳값이 정확히 $t_n(x)$ 임을 증명한다. 따라서 $t_n(x)$ 는 노드의 고유한 2차 기하학적 구조를 완전히 포착한다.
이론적 통찰:
- 깊이 편향(Depth Bias): 이 분해는 전역 트레이스 정규화에 체계적인 깊이 편향이 존재함을 드러낸다. 회로 흐름은 합 노드를 통과할 때마다 감쇄되기 때문에, 얕은 층의 고흐름(high-flow) 노드들이 더 큰 $F_n(x)$ 값을 축적하게 된다. 결과적으로 전역 트레이스 기여도( $T_n$ )는 고유한 국소 곡률( $t_n$ )과 상관없이 얕은 노드 쪽으로 편향된다.
- 순위 역전(Ranking Reversal): 노드를 전역 기여도( $T_n$ )에 따라 순위를 매기는 것은 반드시 높은 고유 국소 곡률( $t_n$ )을 가진 노드를 식별하는 것은 아니다. 어떤 노드는 단순히 높은 흐름 경로에 위치해 있다는 이유만으로 전역 트레이스를 지배할 수 있으며, 이 경우 실제로는 평탄한 혼합(mixture)을 가질 수 있다. 반대로, 회로 깊숙이 있는 국소적으로 날카로운 노드는 흐름 감쇄로 인해 전역 트레이스에 미미하게 기여할 수 있다.
제안된 해결책: 적응형 날카로움 인지 정규화(Adaptive Sharpness-Aware Regularization):
정규화 할당 오류를 해결하기 위해, 저자들은 국소 곡률을 사용하여 전역 트레이스 패널티를 제어하는 게이팅(gating) 메커니즘을 도입한다.
- 게이팅 메커니즘: 모든 노드에 균일한 패널티 강도 $\mu$ 를 적용하는 대신, 각 합 노드에 경험적 국소 트레이스 $\hat{t}_n$ 에 기반한 게이트 $\omega_n$ 을 할당한다. 게이트는 $\omega_n = \hat{t}_n / \max_m \hat{t}_m$ 으로 정의되며, 이는 더 높은 고유 곡률을 가진 노드가 더 강한 정규화를 받도록 보장한다.
- 효율적인 업데이트: 저자들은 이러한 게이트를 포함하는 합 노드 가중치에 대한 폐쇄형 EM(Expectation-Maximization) 업데이트를 유도한다. 이 업데이트는 기존 전역 트레이스 정규화의 선형 시간 복잡도와 폐쇄형 특성을 유지하면서, 노드당 유효 정규화 강도를 단순히 스케일링( $\mu \to \mu \omega_n$ )한다.

주요 결과

본 논문은 Hidden Chow-Liu Trees (HCLTs)를 사용하는 20개의 이진 밀도 추정 벤치마크(DEBD)를 통해 이론과 방법을 검증하였다:

전역 트레이스의 해부: 실험 결과, 전역 트레이스 기여도는 초기 회로 파티션(얕은 노드)에 고도로 집중되어 있는 반면, 국소 곡률은 회로 전체에 훨씬 더 넓게 분포되어 있음을 확인하였다. 이는 전역적 날카로움의 집중이 고유한 기하학적 구조보다는 맥락적 사용량에 의해 주도됨을 입증한다.
선택 기준: 정규화를 일부 노드로 제한할 때, 국소 곡률에 기반하여 선택하는 것이 전역 기여도에 기반하여 선택하는 것보다 모델 적합도를 훨씬 더 잘 보존한다. 전역 기여도에 따라 제한하면 성능 저하가 발생하지만, 국소 곡률에 따라 제한하면 비정규화 베이스라인과 유사하거나 약간 개선된 성능을 유지한다.
과소적합 및 회복: 전역 트레이스 정규화는 비정규화 베이스라인과 비교했을 때 20개 데이터셋 중 18개에서 성능을 저하시키는 과소적합을 빈번하게 유발한다. 반면, 제안된 게이팅 방식은 이러한 과소적합을 완화하여, 대부분의 데이터셋에서 비정규화 모델과 대등하거나 더 나은 성능을 보이면서도 날카로움 인지 학습의 강건성 이점을 유지한다.

의의 및 주장

본 논문은 확률적 회로의 특성상 날카로움을 전역적이고 균일한 속성으로 취급하는 것은 잘못된 설정이라고 주장한다. 주요 기여는 전역 곡률이 국소 기하학과 맥락적 사용량의 산물이라는 이론적 입증이다.

이 연구의 의의는 다음과 같다:

과소적합 퍼즐의 해결: 왜 고데이터 환경에서 전역 날카로움 정규화가 실패하는지를 설명한다. 즉, (평탄할 수도 있는) 고사용 컴포넌트를 징벌함으로써 모델 용량을 불필요하게 억제한다는 것이다.
알고리즘적 개선: 구조적 사용량이 아닌 고유 곡률을 타겟팅하여 PC를 정규화하는, 이론적으로 근거가 있고 계산 효율적인 방법을 제공한다.
향후 방향: 이 분해 방식은 곡률 인지 모델 압축, 표적화된 강건성 개입, 그리고 국소 민감도와 맥락적 영향력을 결합하여 구조적 변경을 가이드하는 적응형 회로 설계 등의 길을 열어준다.

저자들은 현재의 게이팅 함수가 하나의 개념 증명(proof of concept)임을 언급하며 겸허한 입장을 유지한다. 이 프레임워크는 더 풍부한 게이트 함수를 지원하며, 모든 PC의 일반화 문제를 해결한다고 주장하는 것이 아니라, 전역 트레이스 방식에 내재된 특정 정규화 할당 오류를 바로잡는 데 목적이 있다.