Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations

이 논문은 V-JEPA 2 의 고정된 잠재 공간에서 작업별 지도 없이 연속 벡터를 이산 기호로 변환하는 'AIM' 프레임워크를 제안하여, 잠재 표현 내에 물리적 구조와 의미적 차이가 내재된 구조화된 기호 매니폴드로 존재함을 실험적으로 입증했습니다.

Liu hung ming

게시일 2026-03-24
📖 4 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ 핵심 이야기: "보이지 않는 AI 의 두뇌를 어떻게 읽을 것인가?"

최근 AI(특히 V-JEPA 2라는 비디오 모델) 는 영상을 볼 때, 화면의 픽셀을 그대로 다시 그리는 대신 세상의 물리 법칙 (중력, 운동, 사물의 모양 등) 을 추상적으로 이해하는 능력을 배웠습니다.

하지만 여기서 큰 문제가 생깁니다.

  • 기존의 AI: 영상을 보고 "이건 개야, 저건 고양이야"라고 말하거나, 원래 영상을 다시 그려내면 우리가 "아, AI 가 개를 봤구나"라고 알 수 있습니다. (눈으로 확인 가능)
  • 이 새로운 AI (V-JEPA 2): 픽셀을 다시 그리지 않고, **오직 '숨겨진 숫자 (잠재 공간)'**만 가지고 미래를 예측합니다. 그래서 우리는 AI 가 무엇을 이해했는지 눈으로 확인할 길이 없습니다. 마치 AI 가 꿈속에서 무슨 생각을 하는지 알 수 없는 것과 같습니다.

저자는 이 **"보이지 않는 AI 의 생각"**을 읽어내기 위해 **AIM(인공지능의 모국어)**이라는 새로운 도구를 개발했습니다.


🛠️ 해결책: "AI 의 생각을 '단어'로 번역하는 안경"

저자가 제안한 방법은 다음과 같습니다.

  1. AI 는 절대 건드리지 않기 (Frozen Encoder):
    AI 의 두뇌 (엔코더) 는 이미 완벽하게 훈련된 상태입니다. 우리는 이 두뇌를 아예 건드리지 않고 (동결) 그대로 둡니다. 만약 두뇌를 수정하면, AI 가 새로 배운 것인지, 원래 알고 있던 것인지 구분할 수 없기 때문입니다.

  2. 수동적인 번역기 (AIM Probe) 달기:
    AI 의 두뇌에서 나오는 복잡한 숫자 (연속된 벡터) 를 **간단한 기호 (이산적 심볼)**로 바꾸는 작은 장치를 붙입니다.

    • 비유: AI 의 두뇌가 "아주 복잡한 수학 공식"으로 세상을 이해하고 있다면, 우리는 그 공식을 **"간단한 1, 2, 3 번 기호"**로 바꿔주는 번역기를 끼워 넣는 것입니다.
    • 이 번역기는 AI 가 가르치지 않았고, 미리 정해진 단어장도 없습니다. 오직 AI 가 보여주는 숫자 패턴에 맞춰 스스로 기호를 만들어냅니다.
  3. 기호를 관찰하기:
    이제 AI 가 "활 쏘기" 영상을 볼 때와 "볼링" 영상을 볼 때, 이 번역기가 만들어내는 기호의 분포가 달라지는지 확인합니다.


🧪 실험: "세 가지 다른 상황으로 AI 의 두뇌 테스트하기"

저자는 Kinetics-mini라는 작은 영상 데이터셋을 이용해 세 가지 상황을 비교했습니다.

  1. 잡는 손의 모양 (Grasp Angle): 활을 쏘는 사람 vs 볼링을 치는 사람. (손가락을 어떻게 쥐는지 차이)
  2. 사물의 모양 (Object Geometry): 연을 날리는 사람 (긴 막대기) vs 높이뛰기 (사물 없음).
  3. 움직임의 속도/리듬 (Motion Speed): 행진 (규칙적인 리듬) vs 활 쏘기 (정지 후 한 번의 폭발적 움직임).

결과:
놀랍게도, AI 의 두뇌가 물리적인 차이를 정확히 감지하고 있었습니다!

  • 예를 들어, '행진'과 '활 쏘기'를 비교했을 때, 번역기가 만들어내는 기호의 분포가 통계적으로 확실히 다르게 나타났습니다.
  • 특히 시간적인 리듬 (움직임의 속도) 차이를 가장 잘 감지했습니다. 이는 AI 가 훈련될 때 "미래를 예측하는 것"에 집중했기 때문에, 시간의 흐름을 가장 잘 이해하고 있다는 뜻입니다.

💡 중요한 발견: "모두가 같은 기호를 쓰지만, 미세한 차이가 있다"

가장 흥미로운 점은 모든 영상 (활, 볼링, 연 등) 이 번역기의 '5 번 기호'를 가장 많이 사용한다는 것이었습니다.

  • 오해: "아, AI 가 다 똑같은 걸로 인식하는구나. 실패한 거야?"
  • 실제 의미: "아니, AI 는 세상의 공통된 물리 법칙 (중력, 사람의 움직임) 을 하나로 통합해서 이해하고 있구나!"
    • AI 는 사물을 '개', '고양이'처럼 딱딱 구분된 상자로 나누는 게 아니라, 공통된 물리 법칙이라는 큰 방 (잠재 공간) 안에 모두 넣고, 그 안에서 **미세한 위치 차이 (기호 분포의 차이)**로 구분합니다.
    • 마치 **같은 방 (공통된 물리 법칙)**에 모여 있지만, 활 쏘는 사람은 방 구석에, 행진하는 사람은 문 쪽에 서 있는 것과 같습니다.

이것은 AI 의 한계가 아니라, 물리 법칙을 잘 이해했다는 증거입니다.


🚀 결론 및 미래: "이제 AI 와 대화할 수 있는 문이 열렸다"

이 연구는 4 단계 로드맵의 첫 단계입니다.

  1. 1 단계 (현재): AI 의 두뇌를 건드리지 않고, 그 안에 숨겨진 구조가 있는지 확인함. (성공!)
  2. 2 단계: 기호의 종류를 늘려서 더 세밀한 차이를 읽어냄.
  3. 3 단계: AI 의 두뇌와 번역기를 함께 훈련시켜 더 잘 맞도록 함.
  4. 4 단계: AI 가 "왜 그렇게 행동했는지"를 자연어로 설명하게 함.

요약하자면:
이 논문은 **"AI 가 세상을 어떻게 이해하는지 눈으로 확인할 수 없다면, 그 생각을 간단한 기호로 번역해서 통계적으로 증명하자"**는 아이디어를 제시했습니다. 이를 통해 우리는 AI 가 물리 법칙을 얼마나 잘 이해하고 있는지, 그리고 그 내부 구조가 얼마나 정교하게 짜여 있는지 과학적으로 검증할 수 있게 되었습니다.

이것은 AI 의 **'블랙박스 (검은 상자)'**를 열어, 그 안에서 어떤 **'물리적 사고'**가 일어나고 있는지 확인하는 첫걸음입니다.