Latent Equivariant Operators for Robust Object Recognition: Promise and Challenges

이 논문은 회전 및 이동이 포함된 MNIST 데이터셋을 통해 잠재 공간에서 등변 연산자를 학습하는 아키텍처가 기존 및 등변 신경망의 한계를 극복하고 분포 외 객체 인식에 성공할 수 있음을 보이지만, 더 복잡한 데이터셋으로 확장하는 데는 여전히 과제가 있음을 논의합니다.

핵심

🎨 그림을 똑똑하게 보는 AI: "회전과 이동"을 알아서 해결하는 새로운 방법

이 논문은 ICLR 2026 워크숍에 제출된 아주 작지만 의미 있는 연구 (Tiny Paper) 입니다. 제목은 다소 어렵지만, 내용은 **"AI 가 물체를 볼 때, 그 물체가 비틀리거나 이동해도 똑똑하게 알아맞히는 방법"**에 대한 이야기입니다.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 '낯선' 모습을 보면 당황합니다 🤔

지금까지의 AI(딥러닝) 는 사진을 볼 때 정말 똑똑합니다. 하지만 훈련할 때 본 적이 없는 모습으로 바뀌면 엉망이 됩니다.

• 비유: Imagine you are teaching a child to recognize a cat.
  • 훈련 데이터: 아이가 앉아서 귀를 쫑긋 세운 고양이 사진만 1,000 장 보여줍니다.
  • 테스트 상황: 갑자기 아이가 거꾸로 뒤집힌 고양이, 혹은 너무 멀리서 찍은 고양이를 보여줍니다.
  • 결과: 기존 AI 는 "이게 고양이 맞나? 아니면 다른 동물인가?"라고 혼란스러워하며 틀립니다.

기존의 해결책은 두 가지였는데, 둘 다 한계가 있었습니다.

1. 규칙을 미리 정해주기: "고양이는 360 도 회전할 수 있어, 이걸 고려해!"라고 수학적으로 코딩하는 방법. (하지만 세상의 모든 변형을 미리 다 알 수 없습니다.)
2. 데이터를 많이 섞어주기: 훈련할 때 고양이 사진을 임의로 회전시키고 이동시켜서 많이 보여주기. (하지만 훈련할 때 안 본 각도나 이동 거리는 여전히 못 봅니다.)

2. 해결책: "잠재 공간의 마법사" (Latent Equivariant Operators) 🪄

이 논문은 **"AI 가 스스로 변형의 법칙을 배우게 하자"**는 새로운 아이디어를 제시합니다.

• 핵심 아이디어: AI 가 사진을 보고 숫자 (예: 7) 를 추측하기 전에, 먼저 **"이 사진이 원래 모습으로 돌아오려면 어떻게 움직여야 하지?"**를 스스로 계산하게 합니다.
• 비유:
  • 기존 AI 는 사진을 바로 보고 "아, 이건 7 이네!"라고 외칩니다.
  • 이 새로운 AI 는 사진을 한 번 '정리'하는 과정을 거칩니다.
    • "어? 이 7 이 오른쪽으로 3 칸 이동했네? 그럼 왼쪽으로 3 칸 다시 옮겨보자."
    • "어? 이 7 이 90 도 돌아갔네? 그럼 반대로 90 도 돌려보자."
  • 이렇게 **원래의 '정석' 모습 (Canonical Pose)**으로 되돌린 후, 숫자를 맞춥니다.

이때 사용하는 도구를 **'잠재적 등변 연산자 (Latent Equivariant Operator)'**라고 합니다. 쉽게 말해, **"변형된 그림을 원래대로 되돌리는 마법 지팡이"**입니다.

3. 이 방법의 놀라운 점: "보지 못한 것"도 해결합니다 🚀

이 연구의 가장 큰 성과는 훈련할 때 본 적이 없는 변형에서도 잘 작동한다는 것입니다.

• 훈련 상황: AI 에게 0 도, 36 도, 72 도 회전한 숫자만 보여줍니다.
• 테스트 상황: 144 도, 180 도처럼 아예 본 적 없는 각도로 회전한 숫자를 보여줍니다.
• 결과:
  • 기존 AI: "144 도? 그건 훈련 데이터에 없는데... 틀릴 거야." (성능 급락)
  • 이 새로운 AI: "144 도? 아, 72 도를 두 번 돌린 거구나. 그럼 72 도 마법 지팡이를 두 번 쓰면 되겠네!" (원래 모습으로 되돌려서 정확히 맞힘)

이는 마치 레고 블록을 배우는 것과 같습니다.

• 훈련할 때 '빨간 블록'과 '파란 블록'을 연결하는 법만 배웠습니다.
• 테스트 때 '초록 블록'을 연결하라고 하면, 기존 AI 는 당황하지만, 이 AI 는 "아, 블록을 연결하는 원리 (규칙) 를 배웠으니 초록 블록도 같은 원리로 연결하면 되겠네!"라고 추론합니다.

4. 실험 결과: 숫자 (MNIST) 로 증명 📊

연구진은 손으로 쓴 숫자 (MNIST) 데이터를 사용했습니다.

• 숫자를 회전시키거나 이동시켰습니다.
• 훈련 데이터에는 일부 각도와 이동 거리만 포함시켰습니다.
• 결과: 이 새로운 방법을 쓴 AI 는 훈련 데이터에 없던 어떤 각도나 이동 거리에서도 거의 100% 에 가까운 정확도를 유지했습니다. 심지어 AI 가 **어떤 각도인지 모를 때 (자동으로 추정)**에도 잘 작동했습니다.

5. 결론: 앞으로의 과제와 기대 🌟

이 연구는 아직 단순한 숫자 (MNIST) 로만 테스트했지만, 중요한 의미를 가집니다.

• 기대: 앞으로 복잡한 실제 사진 (사람 얼굴, 자동차 등) 에도 적용되면, AI 가 어떤 각도에서 찍히든, 멀리서 찍히든 훨씬 더 똑똑하고 안정적인 인식을 할 수 있게 될 것입니다.
• 과제: 아직 복잡한 3D 공간이나 더 어려운 데이터로 확장하는 데는 이론적, 기술적 난제가 남아있습니다. 하지만 "변형의 법칙을 스스로 배우는" 이 길은 AI 가 인간처럼 유연하게 세상을 이해하는 데 중요한 한 걸음입니다.

---

💡 한 줄 요약

"기존 AI 는 낯선 모습의 물체를 못 알아보고 당황하지만, 이 새로운 AI 는 '원래 모습으로 되돌리는 마법'을 스스로 배워서 어떤 모습이어도 똑똑하게 알아맞힙니다."

기술 요약

1. 문제 정의 (Problem)

딥러닝 기반 컴퓨터 비전 모델은 훈련 데이터와 동일한 분포 (IID) 를 가진 테스트 세트에서는 인간 수준 이상의 성능을 보이지만, 훈련 중 본 적이 없는 분포 외 (Out-of-Distribution, OOD) 상황, 특히 객체의 자세 (pose), 크기 (scale), 위치 (position) 가 그룹 대칭 변환 (group-symmetric transformations) 을 통해 변형된 경우 취약합니다.

기존의 해결책에는 두 가지 한계가 있습니다:

1. 공변량 신경망 (Equivariant Neural Networks): 대칭 변환에 대한 강건성을 보장하지만, 변환의 종류와 구조 (예: 회전 각도, 병진 이동 범위) 를 사전에 수학적으로 정의해야 합니다.
2. 데이터 증강 (Data Augmentation): 훈련 데이터에 특정 변환을 포함시켜 학습시키지만, 테스트 시 모든 가능한 변환 범위를 균일하게 샘플링해야 최적의 성능을 내며, 제한된 범위만 주어지면 한계가 있습니다.

따라서, 변환 파라미터에 대한 사전 지식이 없으면서도, 훈련 범위 밖의 변환에 대해 일반화할 수 있는 새로운 아키텍처가 필요합니다.

2. 방법론 (Methodology)

이 논문은 **잠재 공간 등변 연산자 (Latent Equivariant Operators)**를 학습하여 위 문제를 해결하는 방법을 제안합니다.

• 핵심 아이디어: 입력 공간의 변환을 명시적으로 정의하는 대신, 잠재 공간 (Latent Space) 에서 변환을 수행하는 연산자 (Operator) 를 학습합니다. 이 연산자는 훈련된 변환 범위를 넘어선 변환에도 적용 가능하도록 설계됩니다.
• 데이터셋: MNIST 숫자 이미지를 사용하며, 배경에 랜덤한 체스판 노이즈를 추가하고, 숫자를 회전 (Rotation) 또는 X-Y 축 병진 이동 (Translation) 시킵니다.
• 아키텍처:
  • 인코더 (Encoder): 입력 이미지를 잠재 벡터로 매핑하는 단일 선형 레이어 (또는 복합 변환 시 스택된 인코더).
  • 잠재 연산자 (Latent Operator):
    • 사전 정의형 (Pre-defined): Bouchacourt et al. (2021) 의 이산적 시프트 행렬을 사용.
    • 학습형 (Learnable): QR 분해의 직교 행렬로 초기화되어 훈련 중 최적화됨.
  • 분류기 (Classifier): 잠재 공간의 특징을 입력받아 클래스를 예측하는 MLP.
• 학습 과정:
  • 동일한 입력 $x$에 서로 다른 변환 $T_{k1}, T_{k2}$를 적용하여 두 뷰를 생성합니다.
  • 각 뷰를 인코더에 통과시킨 후, 해당 변환의 역 (Inverse) 연산자를 적용하여 '정형 (Canonical)' 포즈로 복원합니다.
  • 손실 함수:
    1. 분류 손실 ($L_{CE}$): 정형화된 표현을 기반으로 분류 정확도 향상.
    2. 정규화 손실 ($L_{reg}$): 서로 다른 변환에서 복원된 정형 표현 간의 거리 최소화 (일관성 유지).
    3. 연산자 주기성 손실 ($L_{op}$): (학습형 연산자의 경우) 연산자가 그룹의 주기적 성질을 유지하도록 강제.
• 추론 (Inference):
  • 테스트 시 변환 파라미터를 알 수 없는 경우, K-NN (K-Nearest Neighbors) 전략을 사용합니다.
  • 검증 집합에서 생성된 정형 표현 (Canonical Embeddings) 을 참조 데이터베이스로 구축합니다.
  • 테스트 입력에 대해 가능한 모든 변환 연산자를 적용한 후, 참조 데이터베이스와 가장 거리가 가까운 (가장 유사한) 정형 포즈를 가진 변환을 선택하여 분류기에 입력합니다.

3. 주요 기여 (Key Contributions)

1. OOD 분류에서의 성공적 적용: 훈련 범위 밖의 변환 (extrapolation) 과 훈련 중 보지 않은 변환의 조합 (composition) 에서도 높은 분류 정확도를 달성함을 입증했습니다.
2. 사전 지식 불필요: 변환 파라미터를 테스트 시 명시하지 않아도 되며, 약한 주기성 (periodicity) 사전 지식만 있으면 학습 가능한 연산자를 통해 등변성을 회복할 수 있음을 보였습니다.
3. 학습형 연산자의 유효성: 고정된 수학적 연산자뿐만 아니라, 데이터로부터 학습된 연산자도 효과적인 등변 구조를 복원할 수 있음을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 단일 변환 (회전/이동):
  • 베이스라인 (연산자 없음): 훈련 범위 내에서는 성능이 좋으나, 훈련 범위를 벗어나면 정확도가 급격히 떨어지는 종 모양 (bell-shaped) 곡선을 보입니다.
  • 제안 방법 (연산자 있음): 훈련 범위 내외를 막론하고 거의 일정한 높은 정확도 (Flat accuracy profile) 를 유지하며, 외삽 (extrapolation) 능력이 뛰어납니다.
• 복합 변환 (Horizontal + Vertical 이동):
  • 훈련 시 단일 축 이동만 학습했음에도, 추론 시 두 축이 동시에 이동된 복합 변환에 대해 높은 정확도를 보였습니다. 이는 연산자가 변환의 조합을 학습했음을 의미합니다.
  • 학습형 연산자는 사전 정의형 연산자와 유사하거나 일부 영역에서 더 높은 성능을 보였습니다.
• 정량적 성능:
  • 이동 (Translation) 과 회전 (Rotation) 모두에서, 연산자를 사용한 모델은 훈련 범위 밖의 데이터에서도 90% 이상의 정확도를 유지하는 반면, 베이스라인은 20~30% 수준으로 떨어졌습니다.
  • K-NN 을 통한 자동 포즈 추론 (Ground Truth 없이) 도 매우 효과적이었습니다.

5. 의의 및 한계 (Significance & Challenges)

• 의의:
  • 이 연구는 인간과 유사한 객체 인식 (내적 관점 변화 시뮬레이션, Mental Simulation) 에 대한 새로운 접근법을 제시합니다.
  • 대칭성에 대한 명시적 수학적 정의 없이 데이터로부터 대칭 구조를 학습하여 OOD 일반화 문제를 해결할 수 있음을 보여주었습니다.
• 한계 및 향후 과제:
  • 확장성: 현재는 MNIST 와 같은 단순한 합성 데이터에 국한됨. 복잡한 자연 이미지나 3D 변환으로 확장 시 성능 저하 가능성.
  • 이론적 불확실성: 훈련 범위 밖에서 연산자가 얼마나 확실히 등변성을 유지하는지에 대한 이론적 보장이 부족함.
  • 추론 비용: 현재 K-NN 기반 포즈 추론은 참조 데이터베이스 크기와 변환 후보 수에 비례하여 계산 복잡도가 증가함 (선형 시간 추론 필요).
  • 레이어 위치: 복잡한 아키텍처에서 연산자를 어디에 배치해야 하는지에 대한 가이드라인이 명확하지 않음.

결론

이 논문은 잠재 공간 등변 연산자를 통해 딥러닝 모델의 OOD 강건성을 획기적으로 개선할 수 있음을 입증했습니다. 특히 변환 파라미터에 대한 사전 지식 없이도 데이터 기반 학습을 통해 이러한 능력을 획득할 수 있다는 점은 향후 로버스트한 컴퓨터 비전 시스템 개발에 중요한 방향성을 제시합니다.