🤖 AI

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

이 논문은 비전 트랜스포머(Vision Transformer)가 일정한 깊이의 구조로 인해 계산 복잡도 클래스 $\mathsf{TC^0}$ 에 의해 계산적으로 제한되며, 이것이 $\mathrm{SO}(3)$ 와 같은 비가해군(non-solvable group)의 대수적 구조를 보존하는 데 필요한 $\mathsf{NC^1}$ -완전(complete) 문제인 단어 문제(Word Problem)를 해결하기에는 불충분하기 때문에, 정신적 회전(mental rotation)과 같은 비가해 공간 추론 작업에서 본질적으로 실패한다고 주장한다.

원저자: Siyi Lyu, Quan Liu, Feng Yan

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siyi Lyu, Quan Liu, Feng Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"비해결적 공간 추론에서 트랜스포머 이미지 임베딩의 고유한 한계에 관한" 논문에 대한 설명을 쉽고 일상적인 언어와 창의적인 비유로 번역한 것입니다.

핵심 아이디어: 왜 AI 가 3 차원 공간에서 길을 잃는가

매우 똑똑한 로봇이 토끼 사진 한 장을 보고 "저건 토끼야!"라고 말한다고 상상해 보세요. 이 로봇은 사물이 '무엇'인지 인식하는 데 놀라울 정도로 뛰어납니다. 하지만 그 로봇에게 그 토끼를 3 차원 공간에서 회전시켜 보거나, 복잡한 일련의 회전 후 토끼가 어디에 위치하게 될지 파악해 보라고 하면, 로봇은 혼란에 빠지고 실수를 저지릅니다.

이 논문은 이러한 현상이 로봇이 토끼 사진을 충분히 보지 못해서가 아니라고 주장합니다. 이는 '데이터 문제'가 아닙니다. 대신, 문제는 로봇의 뇌 (아키텍처) 에 처음부터 내재되어 있습니다. 로봇의 뇌는 복잡한 3 차원 회전에 필요한 계산을 수행하기에 단순히 '너무 얕은' 구조를 가지고 있을 뿐입니다.

핵심 문제: '한 번에' 작동하는 뇌

이유를 이해하려면 비전 트랜스포머 (Vision Transformers, ViT) 라고 불리는 이러한 AI 모델들이 어떻게 작동하는지 살펴봐야 합니다.

비유: 즉석 사진 앨범
일반적인 AI 모델을 사진 한 장을 보고 즉시 노트에 설명을 적어 내려가는 사람이라고 상상해 보세요. 그들은 한 번의 빠른 눈길로 이를 수행합니다. "좋아, 왼쪽으로 돌리고, 그다음 위로, 그다음 오른쪽으로..."라고 잠시 멈춰 생각하지 않습니다. 그들은 그저 이전에 본 것을 바탕으로 최종 결과를 추측할 뿐입니다.

이 논문은 이러한 '한 번의 눈길' 방식은 사진 좌우 이동과 같은 간단한 작업에는 훌륭하게 작동하지만, 3 차원 물체를 회전시키는 것과 같은 복잡한 작업에는 실패한다고 말합니다.

마법의 배경 수학: '군 (Group)' 게임

저자들은 이를 설명하기 위해 군론 (Group Theory) 이라는 수학의 한 분야를 사용합니다. 물체를 이동시키는 규칙의 집합을 상상해 보세요:

레벨 1 (쉬움): 상자를 왼쪽이나 오른쪽으로 밀기. 왼쪽으로 밀고 오른쪽으로 밀든, 오른쪽으로 밀고 왼쪽으로 밀든, 결국 같은 곳에 도착합니다. 이는 간단하고 협력적인 게임과 같습니다.
레벨 2 (중간): 2 차원 도형을 회전시키기. 순서가 중요합니다 (회전 후 밀기 vs 밀기 후 회전). 하지만 여전히 이러한 움직임을 간단한 단계로 분해할 수 있습니다.
레벨 3 (어려움): 3 차원 물체 (예: 지구본) 를 회전시키기. 여기서는 순서가 매우 중요하며, 움직임이 쉽게 풀리지 않는 방식으로 얽히게 됩니다. 수학 용어로 이를 '비해결 군 (Non-Solvable Groups)' 이라고 부릅니다.

이 논문은 레벨 3(3 차원 회전) 을 진정으로 이해하려면 단계별로 긴 '만약에' 시나리오 체인을 추적할 수 있어야 한다고 주장합니다.

병목 현상: '깊이'의 한계

여기서 이 논문의 주장이 가장 중요한 부분입니다:

비유: 공장 조립 라인

AI(ViT): 제품이 고정된 수의 스테이션 (예: 12 개) 을 통과하는 공장을 상상해 보세요. 제품이 얼마나 복잡하든 간에, 그 12 개 스테이션을 단 한 번만 통과합니다. 이는 '일정한 깊이 (constant depth)'를 가진 과정입니다.
작업 (3 차원 회전): 새로운 단계가 추가될 때마다 의존성 체인이 길어지는 작업을 상상해 보세요. 이를 해결하려면 제품이 스테이션을 여러 번 순환할 수 있거나, 체인의 길이에 따라 공장 자체가 즉석에서 새로운 스테이션 세트를 구축할 수 있는 공장이 필요합니다.

이 논문은 고급 컴퓨터 과학 이론 (회로 복잡도) 을 사용하여 다음을 증명합니다:

AI 의 '12 개 스테이션' 공장은 수학적으로 한 번의 통과로 '긴 체인' 퍼즐을 해결할 수 없습니다.
이 퍼즐은 AI 가 단순히 가지고 있지 않은 '논리적 깊이'를 요구합니다. 이는 큐브를 한 번만 보고 면을 전혀 돌리지 않고 해결하려는 것과 같습니다.

실험: '재귀적 프로브'

이것이 단순한 이론이 아님을 증명하기 위해 연구원들은 잠재 공간 대수 (Latent Space Algebra, LSA) 벤치마크라는 테스트를 구축했습니다.

비유: 기억력 게임

연구원들은 AI 에게 물체의 사진을 보여줍니다.
일련의 움직임을 상상하도록 지시합니다 (예: "X 축 회전, 그다음 Y 축, 그다음 Z 축...").
AI 가 한 번에 하나의 움직임만 이해하도록 훈련시킵니다.
그런 다음, AI 가 머릿속에서 이러한 단일 움직임을 연결하도록 요청하여 긴 시퀀스 (연속 20 개의 움직임) 로 AI 를 테스트합니다.

결과:

움직임이 단순할 때 (레벨 1), AI 는 잘 수행했습니다.
움직임이 복잡한 3 차원 회전일 때 (레벨 3), AI 의 '정신 지도'는 무너졌습니다. 움직임을 연결할수록 AI 의 답변은 진실에서 점점 더 멀어졌습니다.
중요하게도: AI 를 더 크게 만드는 것 (레이어 추가) 은 도움이 되지 않았습니다. 이는 기억력이 짧은 사람에게 더 큰 공책을 주는 것과 같았습니다. 그들은 여전히 긴 사건 체인을 기억할 수 없었습니다. 왜냐하면 기억의 '크기'가 아니라 기억의 '구조'가 잘못되었기 때문입니다.

이 논문이 의미하는 바 (논문에 따르면)

이 논문은 다음과 같이 결론 내립니다:

데이터 부족이 아닙니다: AI 에게 더 많은 회전하는 토끼 사진을 먹인다고 해서 이 문제가 해결되지 않습니다.
구조적 한계입니다: 현재 이러한 AI 모델 (비전 트랜스포머) 의 설계는 수학적으로 '너무 얕아' 한 번의 눈길로 3 차원 회전의 복잡하고 얽힌 논리를 처리할 수 없습니다.
'패턴 매칭'의 함정: 이러한 모델들은 이전에 본 패턴을 인식하는 데 탁월하지만, 인간처럼 세계의 기하학을 실제로 '추론'하는 것은 아닙니다. 그들은 답을 근사화할 뿐이며, 수학이 너무 어려워지면 그 근사화는 무너집니다.

간단히 말해: 이 논문은 현재 세대의 AI 비전 모델이 3 차원 공간을 이해하는 능력에 뚜렷한 한계가 있다고 주장합니다. 이는 AI 가 '바보'이기 때문이 아니라, 그 뇌가 깊고 얽힌 공간 퍼즐을 처리할 수 없는 특정 유형의 '평면적' 논리로 구축되어 있기 때문입니다.

기술적 요약: 비가해적 공간 추론에서 트랜스포머 이미지 임베딩의 고유한 한계

문제 제기
비전 트랜스포머 (ViT) 는 의미 인식 분야에서 최첨단 성능을 달성했지만, 정신적 회전 및 상대적 위치 결정과 같은 복잡한 기하학적 변환을 포함하는 공간 추론 작업에서는 체계적인 실패를 보입니다. 이러한 실패는 종종 데이터 규모의 부족이나 최적화 인공물 때문으로 여겨지지만, 본 연구는 이러한 한계가 아키텍처의 계산 복잡성에 내재되어 있다고 주장합니다. 구체적으로 본 논문은 표준적인 상수 깊이 (constant-depth) 의 트랜스포머 인코더가 단일 순전파 (forward pass) 내에서 비가해적 공간 변환 (예: 3D 회전) 의 대수적 구조를 모델링하는 데 필요한 논리적 깊이를 갖추고 있는지 조사합니다.

방법론
본 연구는 군론 (Group Theory) 과 회로 복잡성 (Circuit Complexity) 을 연결하는 이론적 프레임워크를 사용하며, 새로운 실증적 벤치마크로 검증되었습니다.

이론적 형식화:
- 군 동형사상 (Group Homomorphism): 공간 이해는 잠재 임베딩이 기하학적 군 $G$ (예: $SO(3)$) 의 합성 법칙을 보존해야 하는 군 동형사상의 획득으로 정의됩니다.
- 가해성 계층 (Solvability Hierarchy): 작업은 변환 군의 가해성에 따라 분류됩니다:
  - 1 단계 (아벨 군): 교환 법칙이 성립하는 연산 (예: 2D 이동).
  - 2 단계 (가해 비아벨 군): 교환 법칙이 성립하지 않지만 유한한 아벨 단계로 분해 가능한 연산 (예: 2D 강체 운동).
  - 3 단계 (비가해 군): 분리할 수 없는 깊이 얽힌 연산 (예: $A_5$ 와 동형인 부분군을 포함하는 3D 회전).
- 단어 문제 (The Word Problem): 본 논문은 순차적 공간 작업의 의존성을 유한 군에 대한 "단어 문제"로 형식화합니다. 비가해 군의 경우 이 문제를 해결하는 것은 NC1-complete이며, 직렬 의존성을 해결하려면 로그 논리적 깊이 ( $O(\log N)$ ) 가 필요합니다.
- 회로 복잡성 상한: 상수 깊이와 다항식 정밀도를 가진 표준 ViT 는 엄격하게 복잡성 클래스 TC0에 의해 제한됩니다. TC0 ⊊ NC1이라는 표준 가설 하에서, 상수 깊이 아키텍처는 단일 순전파에서 비가해 군에 대한 단어 문제를 해결할 논리적 깊이가 부족합니다.
실증적 검증 (LSA 벤치마크):
- 저자들은 이러한 이론적 한계를 테스트하기 위해 잠재 공간 대수 (Latent Space Algebra, LSA) 벤치마크를 제안합니다.
- 프로토콜: 재귀적 선형 프로빙 전략을 사용합니다. 모델은 원자적 전이 ( $N=1$ ) 로 훈련되고 동일한 상태 공간에서 생성된 재귀적 시퀀스 ( $N \in \{2, \dots, 20\}$ ) 로 평가됩니다.
- 통제: 최적화 인공물을 배제하기 위해 연구는 잠재 공간의 고유한 선형성을 결정론적으로 확인하기 위해 직교 프로크루스테스 분석 (Orthogonal Procrustes Analysis, OPA) 을 사용합니다.
- 데이터셋: 시각적 주입성 (visual injectivity) 을 보장하기 위해 비대칭 3D 객체를 사용하여 아벨 군 ( $Z_2$ ), 가해 비아벨 군 ($SE(2) $), 그리고 비가해 군 ($ SO(3)$) 에 대한 합성 데이터셋을 구축했습니다.
- 모델: 실험은 ViT(Base/Large/Huge), DINOv2(Base/Large/Giant), ResNet(50/101/152) 백본의 고정된 가중치를 평가합니다.

주요 기여

대수적 형식화: 본 논문은 공간 표현을 군 동형사상 문제로 제시하며, 변환 군의 가해성에 기반하여 작업의 난이도를 분류합니다.
복잡성 경계 증명: 표준 복잡성 가설 (TC0 ⊊ NC1) 하에서 상수 깊이 ViT 가 비가해 구조 (3D 회전 등) 를 포착하는 것이 이론적으로 불가능함을 공식적으로 입증합니다. 이는 비가해 군에 대한 단어 문제의 고유한 직렬 의존성을 해결할 수 없기 때문입니다.
대수적 벤치마크 및 검증: LSA 벤치마크는 엄격하고 구조 주도적인 평가 방법을 제공합니다. 실증적 결과는 구성 깊이가 증가함에 따라 ViT 표현이 비가해 작업에서 크게 저하되는 반면, 아벨 작업에서는 충실도를 유지함을 확인시켜 줍니다.

결과

보편적 복잡성 장벽: 모든 아키텍처 (ViT, DINOv2, ResNet) 와 규모에 걸쳐, 모델들은 비가해 군에 대한 장거리 의존성 추적에서 근본적인 저하를 보입니다.
오차의 계층: 예측 오차는 엄격한 계층을 따릅니다: 3 단계 (비가해) $\gg$ 2 단계 > 1 단계. 3 단계의 절대 오차는 1 단계보다 약 5.73 배에서 17.72 배 더 높습니다.
구조적 저하: 비가해 변환은 오차의 급격하고 단조로운 증가를 유발하여, 가해 작업보다 훨씬 빠르게 기준선 (단순 예측기) 에 근접합니다. 이는 단순한 누적 오차 편차가 아닌 동형 사상 매핑의 구조적 붕괴를 나타냅니다.
깊이 확장 (Depth Scaling) 의 무효성: 모델 깊이를 증가시키는 것 (예: ViT-Base 에서 ViT-Huge 로) 은 성능 향상을 거의 가져오지 않습니다. 동일한 아키텍처 패밀리 내의 서로 다른 깊이에 대한 오차 궤적은 서로 겹치며, 정적 계산 그래프 (TC0) 에서 레이어를 쌓는 것이 필요한 복잡성 클래스 (NC1) 로의 간극을 메울 수 없음을 확인시켜 줍니다.
고유한 잠재적 결손: OPA 결과는 아벨 변환이 잠재 공간에서 강력한 선형 적합을 보이지만, 비가해 3D 회전은 일관되게 실패 (종종 음수 $R^2$ 발생) 함을 보여, 잠재 공간이 이러한 생성자를 표현하는 데 필요한 기하학을 결여하고 있음을 증명합니다.

의의 및 주장
본 논문은 상수 깊이 트랜스포머 아키텍처의 근본적인 이론적 한계를 규명했다고 주장합니다. 즉, 이러한 아키텍처는 비가해적 공간 추론에 필요한 기본 군 동형사상을 마스터하는 대신 얕은 근사에 의존합니다.

아키텍처적 한계: 실패는 데이터 규모나 훈련 최적화 때문이 아니라 아키텍처의 회로 복잡성에 내재된 고유한 속성입니다.
구현체 AI 에 대한 함의: 이 발견은 로봇공학, 자율 주행과 같은 안전-중요 응용 분야에서 장기 구성 변환에 대한 "패턴 매칭" 표현에 의존할 경우 예측 불가능한 실패로 이어질 수 있음을 경고하는 역할을 합니다.
자원 효율성: 본 연구는 고정된 깊이 아키텍처 내에서 데이터나 파라미터 확장만으로 복잡한 공간 추론을 해결하는 것은 무의미하다고 주장하며, 생물학적 항법 원리에서 영감을 받아 논리적 깊이와 훈련 안정성을 조화시키는 설계의 필요성을 제기합니다.