🤖 machine learning

The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

이 논문은 SIGReg 정규화 항이 사전 미보정 격차(prior-miscalibration gap)를 제거함으로써 훈련 목적 함수를 유효한 변분 자유 에너지로 유일하게 변환하는 반면 다른 흔한 정규화 항들은 필요한 놀람 경계(surprise bounds)를 보존하는 데 실패한다는 것을 증명함으로써, 결합 임베딩 예측 아키텍처(JEPA)를 위한 이론적 능동 추론 프레임워크를 구축한다.

원저자: Fabio Arnez, Alexandra Gomez-Villa

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fabio Arnez, Alexandra Gomez-Villa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 비디오의 모든 픽셀을 하나하나 다 외우는 것(이는 불가능할 뿐만 아니라 낭비이기도 합니다)을 원하지 않습니다. 대신, 다음에 어떤 일이 일어날지 예측할 수 있는, 압축된 '잠재적(latent)' 형태의 정신적 지도, 즉 현실의 압축본을 구축하기를 원합니다. 이것이 바로 **결합 임베딩 예측 구조(Joint-Embedding Predictive Architectures, JEPA)**의 꿈입니다. 이것은 마치 학생이 노트를 필기하는 것과 같습니다. 선생님의 강의 전체를 토씨 하나 틀리지 않고 그대로 베껴 쓰는 대신, 핵심 개념과 그들 사이의 관계를 적는 것이죠.

하지만 문제가 있습니다. 정보를 압축할 때, 중요한 세부 사항을 잃어버릴 위험이 있으며, 더 나쁜 경우에는 로봇이 모든 내용을 "모든 것이 똑같다"라는 하나의 지루한 답변으로 뭉뚱그려 버리는 '속임수'를 쓸 수도 있습니다. 이러한 속임수를 막기 위해 과학자들은 **정규화 도구(regularizer)**라는 특별한 규칙을 사용합니다. 이것은 마치 "이봐, 네 노트가 다양하고 넓게 퍼져 있는지 확인해!"라고 말하는 선생님의 빨간 펜과 같습니다.

우주의 반대편에는 **능동적 추론(Active Inference)**이라는 이론이 있습니다. 이 이론은 지적인 존재(우리나 로봇처럼)가 '놀라움(surprise)'을 최소화하기 위해 행동한다고 제안합니다. 우리는 세상에 대한 모델을 구축하며, 현실이 우리의 모델과 일치하지 않을 때 우리는 '놀라움'(수학적으로는 높은 '자유 에너지')을 느낍니다. 살아남기 위해서, 우리는 모델을 바꾸거나 세상에 맞게 우리의 행동을 바꿉니다. 과학자들이 던져온 큰 질문은 이것입니다: 우리가 이 로봇 노트 필기꾼(JEPA)을 훈련시키는 데 사용하는 기술들이 실제로 우리가 놀라움을 최소화하는 수학적 규칙과 동일한가? 지금까지 우리는 로봇이 얼마나 잘 수행하는지에 근거하여 주로 추측해 왔을 뿐, 엄격한 증명은 없었습니다.

이 논문은 이 두 세계를 마침내 연결하는 탐정 이야기와 같습니다. 저자인 파비오 아르네즈(Fabio Arnez)와 알렉산드라 고메즈-빌라(Alexandra Gomez-Villa)는 현대 로봇 훈련에 사용되는 특정 유형의 '부정행위 방지 규칙'을 조사합니다. 그들은 묻습니다: 로봇의 노트가 다양하게 유지되도록 만드는 규칙이 실제로 로봇이 수학적으로 올바른 방식으로 놀라움을 최소화한다는 것을 보장하는가?

답은 전적으로 어떤 규칙을 선택하느냐에 달려 있습니다. 저자들은 네 가지 서로 다른 규칙을 정밀도의 사다리처럼 계층적으로 정리했습니다. 가장 아래에는 VICReg와 같은 대중적인 규칙들이 있습니다. 이것들은 "안전하지 않습니다." 마치 학생이 가짜 시험에서 점수를 부풀려 성적을 높이려는 것과 같습니다. 선생님(수학)은 높은 점수를 보지만, 학생은 실제로 아무것도 배우지 못했습니다. 마찬가지로, VICReg는 로봇이 실제로 이해하지 못하고 있음에도 불구하고, 자신의 지도가 다양하고 정보가 풍득하다고 착각하게 만들 수 있습니다. 이는 로봇의 지식에 대해 '상한선(upper bound)'을 설정하는 것이며, 이는 로봇이 세상을 이해하지 못하면서도 스스로 잘하고 있다고 믿게 만들 수 있음을 의미합니다.

그다음에는 SIGReg라는 규칙이 있습니다. 저자들은 이것이 "황금 티켓"임을 증명합니다. 다른 규칙들과 달리, SIGReg는 단순히 추측하거나 근사치를 구하는 것이 아니라, 로봇의 정신적 지도가 완벽하게 균형 잡히고 퍼져 있도록(수학적으로 '등방성 가우시안(isotropic Gaussian)') 강제합니다. 로봇이 SIGReg를 사용할 때, 수학은 완전히 바뀝니다. 로봇이 알고 있는 것과 실제로 알고 있는 것 사이의 '간극'이 사라집니다. 갑자기, 로봇의 훈련 목적 함수는 능동적 추론 공식과 정확히 일치하게 됩니다. 그것은 더 이상 거친 추측이 아니라, 완벽한 번역이 됩니다.

이 논문은 만약 SIGReg를 사용한다면, 로봇의 목표인 '예측 오차 최소화'가 '놀라움 최소화'와 정확히 같아진다는 것을 보여줍니다. 나아가, 저자들은 현재의 로봇 뇌에서 결여된 무언가를 발견했습니다. 이 로봇들은 목표에 도달하기 위해 앞을 내다보는 계획(실용적 가치)에는 뛰어나지만, 특정한 '호기심' 신호가 부족합니다. 즉, 미래에 대해 더 많이 배우기 위해 새로운 상태를 탐색하려는 내재된 동력(상태-인식적 가치)이 없습니다. 이 논문은 현재의 로봇들이 무시하고 있는 부분이 바로 이 퍼즐의 한 조각임을 지적합니다.

저자들은 로봇의 훈련 데이터가 무한하고 노이즈가 일정하다는 특정 조건 하에서 수학이 완벽하게 일치한다는 점을 매우 주의 깊게 명시하고 있지만, 실제 세상에서의 테스트는 여전히 남아 있습니다. 그들은 이론적인 다리를 건설했지만, 아직 그 위로 자동차를 운전해 가진 않았습니다. 그들은 SIGReg로 훈련된 로봇이 기존 방식보다 더 안정적이고, 계획을 더 잘 세우며, 자신이 무엇을 알고 있는지에 대해 더 "정직할" 것이라고 예측합니다. 하지만 최종 판결은 미래의 실험에 맡깁니다.

요약하자면, 이 논문은 우리가 진정으로 '능동적인' 로봇(탐험가처럼 배우고 행동하는 로봇)을 만드는 비결이, 오래되고 약간 결함이 있는 규칙을 수학적으로 완벽한 새로운 규칙으로 교체하는 데 있을지도 모른다는 것을 알려줍니다. 이는 단순한 휴리스틱 기법을 엄격한 과학적 원리로 바꾸어 놓으며, 로봇의 뇌를 물리 법칙 및 정보 법칙과 어떻게 일치시킬 수 있는지 정확히 보여줍니다.

기술 요약: 변분 자유 에너지로서의 SIGReg 목적 함수

문제 정의
결합 임베딩 예측 아키텍처(JEPA)는 잠재 세계 모델(latent world models)의 지배적인 설계로 부상했으나, 이들의 훈련 목적 함수는 규범적 원리보다는 경험적 성능에 의해 정당화되는 경우가 많다. 표현 붕괴(representational collapse)를 방정하기 위해 사용되는 비대조적 정규화 기법(예: VICReg)이 능동 추론(Active Inference, AIF)의 변분 자유 에너지와 어떻게 연관되는지에 대한 핵심적인 이론적 간극이 존재한다.

핵심 문제는 표준적인 상수 노이즈 인코더 모델 하에서, JEPA의 표준 목적 함수가 비대조적 정규화 기법을 사용하여 상호 정보량(informativeness) 항인 AIF 자유 에너지를 근사한다는 점이다. 상수 노이즈 인코더 모델 하에서 정보량을 최대화하는 것은 임베딩의 주변 미분 엔트로피 $h(Z)$ 를 최대화하는 것과 동등하다. 그러나 VICReg와 같은 추정기들은 이 엔트로피를 1차 및 2차 모멘트(분산과 공분산)를 통해 근사한다. 본 논문은 이러한 근사가 "사전 불일치 간극(prior-miscalibration gap)"을 유발한다고 주장한다. 결정적으로, VICReg는 (Hadamade 부등식과 최대 엔트로피 정리에 의해) 진정한 엔트로피에 대한 상한(upper bound) 역할을 하기 때문에, 이를 최대화하는 것이 진정한 엔트로피의 증가를 보장하지는 않는다. 이 "안전하지 않은(unsafe)" 상한은 결과적인 목적 함수가 AIF의 놀라움 경계(surprise bound, $F \ge -\ln p(x)$ )를 보존하지 못하게 하여, JEPA를 AIF 에이전트로 만드는 규범적 타당성을 저해할 수 있다.

방법론
저자들은 세 가지 단계를 통해 JEPA 정규화 기법과 AIF 자유 에너지 사이의 관계를 분석하는 이론적 프레임워크를 개발한다:

엔트로피-추정기 계층 구조: 논문은 네 가지 비대조적 정규화 기법(VICReg, LogDet, PairDist, SIGReg)을 "세 가지 소스 간극 분해(three-source gap decomposition)"를 기준으로 분류한다. 이 분해는 진정한 엔트로피 $h(Z)$ 와 그 대리물 $\hat{H}(Z)$ 사이의 오차를 다음과 같이 나눈다:
- 간극 I (비가우시안성, Non-Gaussianity): 진정한 분포와 가우시안 참조 분포 사이의 차이.
- 간극 II (비대각 공분산, Off-diagonal Covariance): 상관관계를 무시하고 대각 공분산 행렬을 가정함으로써 발생하는 오차.
- 간극 III (추정 오차, Estimation Error): 추정기 자체의 잔여 오차.
  이 계층 구조는 정규화 기법들이 이러한 간극을 유발하는지, 그리고 안전한 하한(lower bound)인지 아니면 안전하지 않은 상한(upper bound)인지를 기준으로 순위를 매긴다.
SIGReg–AIF 대응 관계: 저자들은 무작위 투영 가우시안 검정(random-projection Gaussianity testing)을 통해 임베딩에 등방성 가우시안 분포를 강제하는 SIGReg(Sketched Isotropic Gaussian Regularisation)를 도입한다. 저자들은 SIGReg가 성공적으로 적용될 때 사전 불일치 간극이 사라짐( $\Delta = 0$ )을 증명한다.
이론적 증명 및 확장:
- 단일 단계(Single-Step): SIGReg를 사용하면 JEPA 목적 함수가 정확한 정보 병목(Information Bottleneck, IB) 분해이자 유효한 AIF 자유 에너지가 되어 놀라움 경계를 보존함을 증명한다.
- 다단계 및 계획(Multi-Step & Planning): 이 대응 관계를 다단계 기대 자유 에너지(Expected Free Energy, EFE)로 확장하여, 특정 배치 레짐(예: 재계획을 포함한 모델 예측 제어) 하에서 복잡도 항이 정확하게 합성됨을 보여준다.
- 정책 레짐(Policy Regime): 학습된 정책을 분석하여, SIGReg 하에서 정책 목적 함수가 기대 자유 에너지에 대한 볼츠만 분포와 정확히 일치함을 보여준다.

주요 기여

엔트로피-추정기 계층 구조: 본 논문은 비대조적 정규화 기법의 공식적인 계층 구조를 확립한다. VICReg와 LogDet는 진정한 AIF 놀라움 경계를 보존하는 것을 보장하지 못하는 "안전하지 않은" 상한인 반면, PairDist는 "안전한" 하한임을 입증한다. SIGReg는 (등방성 가우시안성을 강제함으로써 세 가지 간극 소스를 모두 제거하여) 안전하면서도 정확한 첫 번째 추정기로 식별된다.
대응 정리 (정리 1): 저자들은 VICReg를 SIGReg로 대체함으로써 AIF 대응 관계를 근사에서 정확한 수준으로 업그레이드함을 증명한다. 상수 노이즈 모델과 성공적인 SIGReg 적용 하에서:
- 엔트로피 간극이 사라진다.
- 목적 함수는 정확한 IB 분해를 허용한다.
- AIF 놀라움 경계가 보존된다.
- 잠재 목표 비용(latent goal cost)은 (VICReg가 환원 불가능한 $O(\delta^2)$ 이방성 항을 남기는 것과 달리) AIF 실용적 가치(pragmatic value)에 대한 정확한 대리물이 된다.
"상태-인식적(State-Epistemic)" 간극의 식별: 논문은 현재 모든 JEPA 세계 모델에서 결여되어 있는 AIF 기대 자유 에너지의 특정 항인 상태-인식적 가치(future-state coverage signal로서 탐사를 유도하는 신호)를 식별한다. 앙상블 분산 대리물은 정보 획득을 매개하지만, 현재의 어떤 JEPA도 정책에 조건화된 미래 상태의 주변 엔트로피를 계산하지 못한다.
기계 검증된 증명: 간극 분해 및 대응 정리를 포함한 대수적 핵심 내용은 Lean 4를 통해 기계적으로 검증되었으며, 이를 통해 유도 과정의 논리적 일관성을 확보하였다.

결과 및 예측
논문은 SIGReg와 VICReg 사이에 질적인 차이(정도(degree)의 차이가 아닌 종류(kind)의 차이)를 보이는 여러 이론적 결과들을 도출한다:

경계 보존: 오직 SIGReg만이 AIF 놀라움 경계의 보존을 보장하며, VICReg는 그렇지 못하다.
등방성: SIGReg는 임베딩 조건수 $\kappa$ 를 1(완벽한 등방성)로 유도하는 반면, VICReg는 환원 불가능한 이방성 항을 남긴다.
계획 충실도: SIGReg 하에서 계획 비용은 기대 자유 에너지의 정확한 대리물이다. VICVICReg 하에서는 실용적 가치와 위험 항이 왜곡을 수반한다.
테스트 가능한 예측: 논문은 별도의 연구에서 테스트될 이론적 결과로서 다섯 가지 구체적인 예측을 제시한다 (예: SIGReg 임베딩은 $\kappa \approx 1$ 을 가져야 하며, VICReg에 비해 계획 비용과 과업 성공 사이의 스피어만 상관계수가 더 높아야 함).

의의 및 주장
본 논문은 안티-콜랩스(anti-collapse) 정규화가 단순한 구현 디테일이 아니라, JEPA 세계 모델의 목적 함수가 유효한 Active Inference 자유 에너지인지 여부를 결정하는 구성 요소라고 주장한다.

유효성 기준: 본 연구는 목적 함수의 유효성에 대한 공식적인 기준을 제공한다: 엔트로피 추정기가 안전한 하한이거나 SIGReg와 같이 정확히 일치하는 경우가 아니라면, AIF 놀라움 경계는 생존할 수 없다.
통합: 본 연구는 배치된 비대조적 JEPA 생태계를 딥 액티브 인퍼런스와 통합하여, 한 분야의 도구가 다른 분야에 정보를 제공할 수 있도록 한다.
원칙적인 탐사: 본 연구는 휴리스틱한 "탐사 보너스 추가"를 구체적이고 부호가 명시된 처방인 "누락된 상태-인식적 가치 항"으로 변환한다.
겸손함: 저자들은 이 대응 관계가 이상적인 가정(상수 노이즈 모델, 모집단 한계) 하에서 정확하게 성립함을 명시한다. 또한 "상태-인식적" 간극은 현재의 JEPA 구조적 발견이지, 이론의 결함이 아님을 밝힌다. 또한 과잉 완비(over-complete) 레짐에서의 잠재 변수 선형 식별 가능성 문제는 여전히 미해결된 경험적 문제로 남아 있음을 인정한다. 저자들은 이러한 경험적 문제를 해결했다고 주장하는 것이 아니라, 그것들이 해결 가능할 수 있는 이론적 조건을 확립했음을 주장한다.

유사한 논문