기술 요약: PRISM (Progressive Reasoning through Iterative Slot Memory)

문제 정의

현대의 비전 모델은 일반적으로 단일 피드포워드 패스(feed-forward pass)를 통해 작동하며, 시각적 특징을 한 번 계산한 후 이를 레이어를 통해 전파할 뿐 중간 표현을 재방문하거나 정제하지 않습니다. 이러한 구조는 깨끗한 벤치마크에서는 효과적이지만, 폐쇄(occlusion)나 누락된 시각적 증거로 인해 관찰 내용이 불완전한 실제 환경에서는 어려움을 겪습니다. 이러한 경우, 누락된 정보를 복구하거나 모호성을 해결할 메커니즘의 부재는 취약한 표현과 인식 성능 저하로 이어집니다. 또한, 기존의 객체 중심 접근 방식(예: Slot Attention)은 대개 순수하게 바텀업(bottom-up) 방식으로만 작동합니다. 즉, 가용한 증거를 기반으로 특징을 조직화할 뿐, 일부가 가려진 경우 완전한 객체 구조를 추론하는 데 실패합니다. 반대로, 조밀한 특징 토큰에 직접 적용된 프로토타입 기반 방법(예: VQ-VAE)은 얽힌 입력물로 인해 모호한 매칭 문제를 겪을 수 있습니다.

방법론

저자들은 인간의 지각이 갖는 반복적인 특성을 모방하도록 설계된 피라미드형 비전 아키텍처인 PRISM(Progressive Reasoning through Iterative Slot Memory)을 제안합니다. PRISM은 객체 중심의 그룹화와 학습된 프로토타입 메모리를 결래하여 "조직화-회상-정제(organize–recall–refine)" 과정을 수행하는 순환 구조를 통합합니다.

아키텍처 개요

PRISM은 4단계 피라미드 구조입니다. 여러 단계를 쌓는 일반적인 백본과 달리, PRISM은 각 단계마다 하나의 블록($\Phi_s$)을 사용하며 이를 **재귀적(recurrently)**으로 적용합니다. 재귀 횟수는 입력의 복잡도에 따라 적응형 계산 시간(Adaptive Computation Time, ACT) 모듈에 의해 동적으로 결정됩니다.

핵심 메커립즘

각 단계 내에서 재귀 함수 $\Phi_s$는 세 가지 주요 연산을 수행합니다:

1. Slot Attention (조직화):
   시각적 토큰들은 고정된 수의 객체 중심 "슬롯(slots)"으로 경쟁적으로 그룹화됩니다. 표준 Slot Attention과 달리, PRISM은 키(keys)에 위치 변조(positional modulation)를 포함하여 슬롯이 의미적 내용과 공간적 구조를 모두 포착할 수 있도록 합니다. 이를 통해 "무엇이 어디에 있는지(what-to-where)"에 대한 정보를 인코딩하는 구조화된 표현($v_{s,grp}$)과 그룹화된 키($k_{s,grp}$)를 생성합니다.

2. Vector-Quantized Memory (회상):
   그룹화된 슬롯 표현은 학습 과정에서 깨끗한 이미지로부터 습득한 프로토타입 패턴의 학습된 코드북을 포함하는 벡터 양자화(VQ) 메모리 공간으로 매핑됩니다.

   • 학습: 재구성 손실(reconstruction loss)과 커밋먼트 손실(commitment loss)을 통해 인코더가 연속적인 특징을 이산적인 프로토타입에 매핑하도록 하여 코드북을 안정화합니다.
   • 추론: 관찰 내용이 불완전할 때(예: 가려짐 발생 시), 저하된 슬롯 표현은 메모리 내의 가장 가까운 프로토타입과 매칭됩니다. 이는 완전하고 일관된 패턴을 검색함으로써 학습된 사전 지식을 바탕으로 누락된 정보를 효과적으로 "환각(hallucinating)"해냅니다.

3. Cross-Attention Redistribution (정제):
   복원된 슬롯 특징(프로토타입 기반 키 및 값)은 원래의 특징 맵 상의 공간적 위치로 재분배됩니다. 위치 임베딩(positional embeddings)은 크로스 어텐션 메커즘의 쿼리(query) 역할을 수행하여, 복원된 특징이 올바른 공간 좌표로 유도되도록 합니다. 결과물인 특징들은 다음 재귀 단계를 위해 잔차 연결(residual connections)이 있는 피드포워드 네트워크(FFN)를 통해 업데이트됩니다.

적응형 중단 (Adaptive Halting)

ACT 모듈은 각 단계에 대한 전역 중단 확률을 예측합니다. 누적된 확률이 임계값을 초과하면 재귀가 중단됩니다. 이를 통해 단순한 입력은 조기에 종료되어 효율성을 높이고, 복잡하거나 모호한 입력에는 더 많은 추론 단계를 할당함으로써 암묵적인 정규화 역할을 수행합니다.

주요 기여

1. 복구 가능한 표현 패러다임: 본 논문은 시각적 특징이 객체 중심의 추상화로 조직화되고 학습된 프로토타입 공간에 근거하는 프레임워크를 도입합니다. 이는 불완전한 관찰로부터 일관된 표현을 재구성할 수 있게 합니다.
2. 재귀적, 단계별 적응형 정제: PRISM은 표현이 조직화-회상-정제 주기를 통해 반복적으로 업데이트되는 메커니즘을 제안합니다. 반복 횟수는 동적으로 결정되며, 모든 토큰은 각 단계에서 공동으로 업데이트됩니다.
3. 강건성을 위한 귀납적 편향: 저자들은 프로토타입 기반의 복원과 동적 재귀적 정제를 결합하는 것이 비전 시스템에 강력한 귀납적 편향을 제공함을 입증했습니다. 이는 단일 패스 피드포워드 추론에서 증거를 조직하고 프로토타입을 회상하는 점진적 과정으로 패러다임을 전환하여, 높은 효율성과 향상된 폐쇄 대응력을 제공합니다.

실험 결과

PRISM은 깨끗한 조건과 폐쇄된 조건 모두에서 표준 컴퓨터 비전 작업(ImageNet-1K 분류, MSCOCO 탐지/세그멘테이션, ADE20K 세그멘테이션)에 대해 평가되었습니다. 특히, 모델은 폐쇄된 이미지를 학습하지 않고 오직 테스트 시에만 폐쇄된 환경에서 평가되어 OOD(out-of-distribution) 강건성을 측정했습니다.

• 이미지 분류 (ImageNet-1K): PRISM은 깨끗한 이미지에서 경쟁력 있는 성능(Top-1 정확도 80.3%, PVTv2-B1보다 1.6% 높은 성능을 더 적은 파라미터로 달성)을 보였습니다. 심각한 폐쇄(예: 80% 패치 마스킹) 상황에서도 PRISM은 PVTv2-B1(39.6%) 및 BiFormer-T(42.1%)를 능가하는 44.6%의 정확도를 기록하며 현저히 우수한 성능을 보였습니다.
• 객체 탐지 및 세그멘테이션 (MSCOCO): 폐쇄된 객체가 있는 COCO 데이터셋(30% 및 50% 영역 마스킹)에서 PRISM은 일관되게 베이스라인을 앞질렀습니다. 예를 들어, 50% 폐쇄(M50) 조건에서 PRISM은 훨씬 적은 파라미터를 사용했음에도 불구하고 RetinaNet 대비 34.2 mAP를 기록하며 DaViT-T보다 2.7포인트 높은 성능을 보였습니다.
• 시맨틱 세그멘테이션 (ADE20K): PRISM은 깨끗한 설정(44.8)과 폐쇄된 설정(39.7) 모두에서 최고의 mIoU를 달성했으며, 무작위 패치 마스킹 하에서 PVTv2-B1보다 4.9포인트 앞선 성능을 유지했습니다.
• 절제 연구 (Ablation Studies): VQ 메모리를 제거했을 때 폐쇄 상황에서 성능이 크게 하락하여, 프로토타입 기반 복원의 필요성을 확인했습니다. 동적 중단(Dynamic halting)은 고정 단계 재귀보다 더 효과적임이 입증되어, 강건성과 계산 효율성 사이의 균형을 맞추는 것으로 나타났습니다.

의의 및 주장

본 논문은 구조화된 표현과 메모리를 활용한 반복적 추론이 더 탄력적이고 적응적인 비전 모델을 구축하는 데 유망한 방향임을 보여줍니다. 시각적 추론을 단일 변환이 아니라 증거를 조직하고, 학습된 프로토타입을 회상하며, 내부 상태를 정제하는 순환 과정으로 취급함으로써, PRISM은 불완전한 관찰을 처리하는 데 있어 피드포워드 아키텍처의 한계를 극복합니다. 결과는 이 접근 방식이 특히 시각적 증거가 부분적이거나 손상된 시나리오에서 시각적 인식을 강화하기 위한 일반적인 아키텍처 원칙을 제공한다는 것을 시사합니다. 저자들은 추가 연구를 촉진하기 위해 소스 코드와 모델을 공개할 예정이라고 밝혔습니다.