🤖 machine learning

Topological Simplification in Predictive Coding Networks

이 논문은 지속성 호몰로지(persistent homology)를 사용하여 예측 부호화 네트워크가 연결된 성분들의 후기 붕괴가 더 낮은 재구성 오차 및 표준 MLP 대비 우수한 성능과 상관관계가 있는 뚜렷한 위상적 단순화 패턴을 보임을 입증하며, 압축-재구성 트레이드오프를 형성하는 데 있어 양방향 역학의 독특한 역할을 강조한다.

원저자: Adam Shaw, Jiayu Li, Michael Sperling, Michael Kim, Alvin Jin

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Adam Shaw, Jiayu Li, Michael Sperling, Michael Kim, Alvin Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 복잡한 기계가 어떻게 무질서한 원재료 더미를 완벽하고 조직적인 식사로 바꾸는지 이해하려고 노력한다고 상상해 보십시오. 인공지능의 세계에서 이 기계는 데이터를 통해 학습하도록 설계된 컴퓨터 프로그램인 '신경망'입니다. 과학자들은 오랫동안 이 네트워크들이 세상을 어떻게 '보는지'에 매료되어 왔습니다. 이들은 단순히 픽셀이나 숫자를 보는 것이 아니라, 데이터를 일종의 숨겨진 형상, 즉 유사한 것들은 서로 가깝고 서로 다른 것들은 멀리 떨어져 있는 일종의 보이지 않는 지형으로 변형시킵니다.

이 보이지 않는 지형을 연구하기 위해 연구자들은 '위상수학(topology)'이라 불리는 수학의 한 분야를 사용합니다. 위상수학을 늘리거나 찌그러뜨릴 수는 있지만 찢을 수는 없는 모양을 연구하는 학문이라고 생각하십시오. 이 언어에서 단단한 공은 컵의 형태로 만들 수 있기 때문에 공과 컵은 같은 모양이지만, 구멍을 내기 위해서는 반죽을 찢어야 하므로 공은 도넛과는 다릅니다. 또 다른 핵심 개념은 '예측 부호화(predictive coding)'입니다. 다음에 무슨 일이 일어날지 끊임없이 추측하고, 그 추측을 현실과 대조해 보는 탐정을 상상해 보십시오. 만약 추측이 틀리면, 그들은 이론을 수정합니다. 일부 고급 AI 모델은 이와 같이 작동합니다. 이들은 데이터를 단 한 번만 보는 것이 아니라, 데이터를 완전히 이해하여 처음부터 다시 재현할 수 있을 때까지 끊임없이 예측하고, 확인하고, 정교하게 다듬습니다. 큰 질문은 이것입니다. 이 '탐정 AI'들이 똑똑해짐에 따라, 그들의 이해의 형태는 어떻게 변할까요? 그들은 세상을 단순한 선으로 평평하게 만듭냐, 아니면 복잡한 곡선을 그대로 유지하느냐?

이것이 바로 남가주 대학교(USC)의 연구팀이 2023년 논문 "예측 부호화 네트워크에서의 위상적 단순화(Topological Simplification in Predictive Coding Networks)"에서 조사하고자 했던 내용입니다. 그들은 이 '탐정' AI 네트워크가 데이터를 층(layer)별로 처리하면서 데이터의 복잡한 모양을 어떻게 다루는지 알고 싶었습니다. 그들은 떠다니는 원반과 구멍으로 구성된 합성 게임(위상학적으로 까다롭게 설계됨)과 유명한 필기 숫자 데이터셋인 MNIST를 사용하여 이 네트워크들을 훈련시켰습니다.

연구자들은 이 네트워크들이 데이터의 거친 가장자리를 점진적으로 매끄럽게 만드는 일련의 필터처럼 작동한다는 것을 발견했습니다. 데이터가 네트워크의 더 깊은 곳으로 이동함에 따라 복잡한 모양은 더 단순해집니다. 구체적으로, 네트워크는 별개의 데이터 포인트 그룹을 하나의 통합된 덩어리로 '붕괴'시킵니다. 이를 '위상적 단순화(topological simplification)'라고 합니다. 그러나 이 붕괴가 일어나는 시점이 매우 중요합니다. 연구팀은 '뇌세포'(뉴런)가 적은 작은 네트워크일수록 프로세스의 매우 초기 단계에서 데이터를 서둘러 단순화한다는 것을 발견했습니다. 이는 시험에 합격하기 위해 몇 가지 핵심 사실을 빠르게 암기하지만 모든 세부 사항은 잊어버리는 학생과 같습니다. 반대로, 더 크고 강력한 네트워크는 복잡한 모양을 훨씬 더 오래 유지하며, 마지막 순간까지 단순화를 늦춥니다.

하지만 함정이 있습니다. 연구자들은 네트워크가 데이터를 단순화하는 시기와 원래 이미지를 재현하는 능력 사이에 강한 연관성이 있다는 것을 발견했습니다. 너무 일찍 단순화한 네트워크는 중요한 정보를 잃어버려, 그들의 '재구성'(기억으로부터 원래 이미지를 다시 그려내려는 시도)을 흐릿하고 형편없게 만들었습니다. 모양을 단순화하기를 더 오래 기다린 네트워크는 데이터를 훨씬 더 잘 재구축했습니다. 실제로 그들은 명확한 패턴을 발견했습니다. 네트워크가 위상을 더 늦게 단순화할수록, 재구성이 더 잘되었습니다.

아마도 가장 놀라운 발견은 이러한 '탐정' 네트워크가 표준적인 단방향 AI 네트워크(MLP라고 불림)와 어떻게 비교되는가 하는 점이었을 것입니다. 동일한 크기와 훈련을 받았음에도 불구하고, 탐정 네트워크(예측 부호화 네트워크)는 표준 네트워크보다 약 3.6개 층 더 오래 데이터의 복잡한 모양을 유지하다가 마침내 그것을 단순화했습니다. 이는 예측 부호화의 끊임없는 '추측과 확인' 과정이 네트워크로 하여금 세상의 복잡성을 더 오랫동안 살아있게 만들어, 원래 장면을 재구성하는 능력을 보존하도록 강제한다는 것을 시사합니다.

요컨대, 이 논문은 트레이드오프(절충 관계)가 존재함을 시사합니다. 작고 빠른 네트워크를 원한다면 세상을 빠르게 단순화하겠지만, 세부 사항을 재현하는 능력을 잃을 수도 있습니다. 세상을 완벽하게 재구성할 수 있는 네트워크를 원한다면, 세상의 복잡한 모양을 가능한 한 오랫동안 온전하게 유지할 수 있는 역량이 필요합니다. 연구는 '지속적 호몰로지(persistent homology)'라는 수학적 도구를 사용하여 이러한 변화를 측정하는데, 이는 단계마다 데이터에 존재하는 구멍과 섬의 개수를 세는 자와 같은 역할을 합니다. 결과는 모든 딥러닝 네트워크가 결국 이해를 위해 세상을 평평하게 만들지만, '탐정' 방식의 학습은 지도를 훨씬 더 오랫동안 상세하게 유지하여 이해와 기억 사이의 더 나은 균형을 제공한다는 것을 보여줍니다.

기술 요약: 예측 코딩 네트워크에서의 위상적 단순화

문제 정의
지속성 호몰로지(persistent homology)는 피드포워드 신경망(연결 성분 및 루프와 같은 위상적 특징이 점진적으로 붕괴되어 분리 가능한 표현을 생성하는 과정)의 위상적 단순화를 분석하는 데 널리 사용되어 왔으나, 추론과 재구성을 동시에 지원해야 하는 구조에서는 이러한 현상이 어떻게 작용하는지 여전히 불분명하다. 예측 코딩 네트워크(PCN)는 계층적이고 양방향적인 모델로, 전역 에너지 범함수의 반복적인 최소화를 통해 추론을 수행한다. 피드포워드 분류기와 달리, PCN은 근사적 역전(재구성)을 지원하기 위해 충분한 위상 정보를 보존해야 한다. 본 논문은 PCN이 피드포워드 네트워크와 유사한 위상적 단순화를 보이는지 조사하고, 건축적 제약이 위상적 붕괴와 재구성 충실도 사이의 트레이드오프에 어떠한 영향을 미치는지 탐구한다.

방법론
저자들은 두 가지 데이터셋에 대해 훈련된 PCN의 계층 간 표현 위상의 진화를 추적하기 위해 지속성 호몰로지를 사용한다:

합성 데이터셋: 아홉 개의 구멍( $M_b, \beta_1=9$ )이 포함된 영역 내에 배치된 아홉 개의 서로 떨어진 디스크( $M_a, \beta_0=9$ )로 구성된 위상적으로 복잡한 2D 매니폴드이다. 이 데이터셋은 분류를 위해 상당한 위상적 변형을 요구한다.
실제 데이터셋: $\mathbb{R}^{784}$ 상의 포인트 클라우드로 취급된 MNIST.

본 연구는 다양한 은닉층 너비, 건축적 구성(균일, 증가/감소, 병목), 그리고 활성화 함수(ReLU, Leaky ReLU, tanh)를 가진 PCN을 훈련시키기 위해 JAX 기반의 PCX 라이브러리를 활용한다. 모델은 높은 정확도(합성 데이터 $\ge 99.9\%$ , MNIST $\ge 95\%$ )로 훈련된다.

발견된 내용을 정량화하기 위해 두 가지 주요 지표를 도입한다:

위상적 단순화의 질량 중심(Center of Mass of Topological Simplification, COM): 위상적 붕괴의 "타이밍"을 정량화하는 스칼라 지표이다. 이는 단순화 이벤트를 비가역적인 것으로 간주하여 베티 수(특히 $\beta_0$ 및 $\beta_1$ )가 감소하는 예상 깊이를 계산한다. 낮은 COM은 더 이른 붕괴를 나타낸다.
평균 재구성 거리(Mean Reconstruction Distance, MRD): 재구성 충실도를 정량화하는 지표이다. 역전된 출력과 훈련 세트 내의 가장 가까운 동일 클래스 이웃 사이의 평균 유클리드 거리를 측정하여, 역전된 결과가 올바른 데이터 매니폴드 근처에 있는지 포착한다.

분석 시 클래스 간의 위상을 혼동하지 않도록 지속성 호몰로지 계산을 단일 클래스로 제한한다.

주요 결과

모델 크기와 단순화 타이밍: 모델 크기(은닉층 너비의 합)와 위상적 단순화 타이밍(COM) 사이에 강한 양의 상관관계가 존재한다. 작은 규모의 PCN은 더 일찍 연결 성분을 붕괴시킨다. 이 관계는 활성화 함수 전반에 걸쳐 유지되며, 스피어만 상관계수는 $\rho \in [0.72, 0.79]$ 범위에 달한다. ReLU 네트워크는 용량에 대한 민감도가 가장 높으며, 추가된 너비가 Leaky ReLU나 tanh 네트워크보다 붕괴를 더 실질적으로 지연시킨다.
단순화-재구성 트레이드오프: 단순화 타이밍(COM)과 재구성 오차(MRD) 사이에는 강한 음의 상관관계( $\rho = -0.58$ )가 존재한다. 위상을 더 늦게 단순화하는(높은 COM) 구조가 더 나은 재구성 품질을 달enc한다. 조기 붕괴는 역전을 위해 필요한 구조적 정보의 손실에 해당하며, 이는 열악한 생성 성능으로 이어진다.
PCN 대 피드포워드 네트워크(MLP): 동일한 정확도로 훈련된 매칭된 다층 퍼셉트론(MLP)과 비교했을 때, PCN은 일관되적으로 위상적 단순화를 지연시킨다. 평균적으로 PCN은 MLP 대응 모델보다 3.6개 층 더 늦게 연결 성분을 붕괴시킨다. 이는 예측 코딩의 순환적, 양방향적 역학이 재구성을 용이하게 하기 위해 위상 구조를 더 오래 보존하도록 제약을 가함을 시사한다.
데이터 간 일관성: 이러한 경향은 기저의 정답 위상이 없는 MNIST와 같은 고차원 데이터셋에서도 합성 매니폴드와 함께 관찰되었다.

의의 및 주장
본 논문은 지속성 호몰로지가 PCN의 압축-재구성 트레이드오프를 분석하는 유용한 정량적 렌즈를 제공한다고 주장한다. 연구 결과는 학습된 표현에 대한 위상적 분석을 피드포워드 네트워크 너머로 확장하며, 다음을 강조한다:

위상적 단순화는 균일하지 않으며, 모델 용량과 특정 아키텍처의 역학에 의해 결정된다.
예측 코딩 추론의 순환적 특성은 압축(단순화)과 재구성 사이의 트레이드오프가 언제 해결되는지를 형성하며, 표준 피드포워드 모델에 비해 네트워크 내부 더 깊은 곳까지 위상적 특징을 보존하도록 강제한다.
위상적 붕괴의 타이밍과 네트워크의 표현 역전 능력 사이에는 직접적인 연결 고리가 있으며, 이는 과도한 조기 단순화가 모델의 생성 능력을 저해할 수 있음을 시사한다.

저자들은 테스트된 아키텍처와 데이터셋에 대해서는 이러한 경향이 유효하지만, 이러한 가설을 더 넓은 데이터셋에 걸쳐 테스트하고 실제적인 의미적 충실도를 위한 더 정교한 재구성 인식 위상 지표를 개발하기 위한 후속 연구가 필요함을 언급하며 신중한 범위를 유지한다.

유사한 논문