기술 요약: 테스트 타임 트레이닝을 위한 비동기적 지각 기계 (Asynchronous Perception Machine)

1. 문제 정의

현재의 신경망은 훈련 데이터와 분포가 크게 다른 이미지(Out-of-Distribution 또는 OOD)를 인식하는 데 어려움을 겪습니다. 테스트 타임 트레이닝(Test-Time Training, TTT)은 모델이 테스트 샘플에 맞춰 "실시간으로" 적응할 수 있게 함으로써 해결책을 제시하지만, 기존 방식들은 세 가지 결정적인 한계점을 가집니다:

1. 정보 병목 현 현상 (The Information Bottleneck): 여러 번의 TTT 반복은 깊은 은닉층을 통과하는 반복적인 피드포워드 패스를 요구하며, 이는 높은 계산 비용을 초래합니다.
2. 대리 사전 학습 과업(Surrogate Pre-text Tasks)에 대한 의존: 기존 방법들은 데이터 증강이나 사전 학습 과업(예: 회전, 마스킹)에 의존하는데, 온라인 환경에서는 이러한 설정의 최적값을 미리 알 수 없습니다.
3. 메모리 및 병렬성 제약: 트랜스포머(Transformer)와 같은 구조는 모든 입력 패치를 공유된 표현 공간으로 동시에 투영해야 하므로 상당한 메모리를 소비합니다.

나아가, 본 논문은 기계 지각에 대한 철학적 간극을 제기합니다. 현재의 시스템은 GLOM(2019)에서 지각(percept)을 하나의 "장(field)"으로 간주한 가설처럼, 의미론적 인식을 유지하면서 이미지 패치를 비동기적으로 처리하는 능력이 부족하다는 것입니다.

2. 방법론: 비동기적 지각 기계 (APM)

저자들은 TTT를 위해 설계된 계산 효율적인 구조인 **비동기적 지각 기계(Asynchronous Perception Machine, APM)**를 제안합니다. 이 모델은 이미지 패치를 어떤 순서로든 한 번에 하나씩 처리하면서도 의미론적 인식을 유지합니다.

핵심 구조

APM은 두 가지 새로운 메커니즘을 통해 작동합니다:

1. 글로벌 컬럼 모듈 ($T$): 입력 이미지 $I$에 2D 컨볼루션을 적용하여 생성된 "트리거 컬럼(trigger column)"은 결과물을 단일 벡터 $T$ (차원 $1 \times 1 \times d$)로 평탄화하여 이미지의 정체성을 요약합니다.
2. 폴딩-언폴딩(Folding-Unfolding) 메커니즘:
   • 언폴딩 (Unfolding): 트리거 컬럼 $T$를 확장("unfold")하여 위치 인식 컬럼($T_{ij}$)들을 생성합니다. 이는 $T$를 비매개변수적 위치 인코딩($p_{ij}$)과 결합함으로써 수행되며, 각 공간 위치에 대한 고유한 쿼리를 생성합니다: $T_{ij} = (T | p_{ij})$.
   • 공유 MLP: 각 $T_{ij}$는 **공유 다층 퍼셉트론(Shared MLP)**을 순차적으로 통과하여 위치별 특징($f_{ij}$)과 RGB 값을 생성합니다.
   • 폴딩 (Folding): 처리 후, 컬럼들은 다시 단일 트리거 컬럼 $T$로 붕괴됩니다. 위치 인코딩은 결정론적이며 폴딩 과정에서 "소멸(annihilated)"되어, 모든 위치로부터의 그래디언트가 $T$ 내의 공유 컨볼루션 필터를 업데이트할 수 있게 합니다.

테스트 타임 트레이닝 (TTT) 프로토콜

APM은 데이터 증강이나 사전 학습 과업 없이 TTT를 수행합니다:

1. 증류 (Distillation, $t=1$): 테스트 이미지를 사전 훈련된 교사 모델(예: CLIP)에 통과시켜 타겟 특징 표현($f_{cls}$)을 얻습니다.
2. 과적합 (Overfitting, $t \ge 2$): APM은 무작위 가중치로 초기화됩니다. 먼저 교사의 표현을 증류하기 위해 단 한 번의 피드포워드 패스를 수행합니다. 이후의 반복 단계에서 네트워크는 고정된 타겟 $f_{cls}$와 출력 사이의 L2 거리를 최소화하며 오직 이 단일 증류된 표현($f_{avg}$)에 대해서만 과적합됩니다.
3. 분류: 일정 횟수의 반복(예: 20회) 후, 평균화된 출력 특징을 대조 공간(contrastive space) 내의 텍스트 클래스 임베딩과 비교하여 클래스 레이블을 결정합니다.

계산 효율성

APM은 **컬럼 독립성(column independence)**을 활용하여 평균 특징($f_{avg}$)을 실행 통계 평균(running statistical average)으로 계산할 수 있습니다. 이를 통해 모든 $h \times w$ 특징 맵을 메모리에 동시에 저장할 필요가 없으므로, 병렬 구조에 비해 메모리 사용량과 FLOPs를 크게 줄입니다.

3. 주요 기여

• GLOM 기반 구조: APM은 지각이 하나의 '장(field)'이라는 철학적 통찰을 검증하며, 대상 데이터셋에 대한 명시적인 사전 훈련 없이도 단일 샘플로부터 학습하고 이미지 요소들을 의미론적으로 클러스터링할 수 있음을 보여줍니다.
• 계산 효율성: APM은 매 반복마다 전체 교사 네트워크를 다시 실행하는 대신, 테스트 샘플의 표현을 한 번 증류하고 그 위에 과적합되는 방식을 통해 기존 TTT 방법(예: TPT)보다 계산 비용을 거의 50% 절감합니다.
• 단순성 및 성능: 이 구조는 단 하나의 컨볼루션 층과 5개의 층으로 구성된 MLP로 이루어져 매우 단순합니다. 그럼에도 불구하고 16개의 데이터셋에서 최첨단 TTT 방식들과 대등하거나 더 우수한 성능을 달 বার합니다.
• 비동기적 처리: APM은 의미론적 일관성을 유지하면서 패치를 비동기적으로 처리할 수 있음을 입증하여, 기계 지각에 대한 새로운 관점을 제시합니다.

4. 실험 결과

저자들은 분포 변화가 포함된 제로샷 TTT 벤치마크에서 APM을 평가했습니다:

• 자연 분포 변화 (ImageNet 변형): CLIP ViT-B/16을 교사로 사용했을 때, APM은 ImageNet에서 62.6%, OOD 평균에서 **61.2%**의 정확도를 달성하여 TPT(62.4% / 60.8%)를 앞질렀습니다. 더 강력한 교사(OpenCLIP ViT-H/14)를 사용했을 때, APM은 **84.9%**의 평균 정확도를 기록하며 교사의 제로샷 성능보다 약 3% 높은 성과를 보였습니다.
• 손상된 이미지 (ImageNet-C): ImageNet-C(Level 5 심각도)에서 APM은 15개 노이즈 유형 중 11개에서 가장 높은 정확도를 기록했으며, 평균 점수는 **50.3%**로 데이터셋 특화 사전 훈련 없이도 TTT-MAE 및 기타 베이스라인을 능가했습니다.
• 교차 데이터셋 일반화: APM은 9개의 미세 분류 데이터셋(예: Flower102, DTD) 전반에서 가장 높은 평균 정확도(65.5%)를 달성하여 CoOp, CoCoOp, TPT를 능가했습니다.
• 단일 샘플 학습: 실험 결과, APM은 250회의 TTT 반복 동안 단일 증류 토큰으로부터 장면의 의미론적 요소를 클러스터링하는 법을 배울 수 있으며, 이는 장면 특징을 재구성하는 역문제(inverse problem)를 효과적으로 해결함을 보여줍니다.
• 절제 연구 (Ablation Studies): 데이터 증강을 제거했을 때 성능이 하락(98.6%에서 76.7%로)하는 것을 통해, APM이 단일 샘플 과적합에 의존함을 확인했습니다. RGB 재구성 손실을 추가하고 전체 특징 그리드를 모사했을 때 정확도가 더욱 향상되었습니다.

5. 의의 및 주장

본 논문은 APM이 입력 지각이 불연속적인 패치의 집합이 아닌 연속적인 장(field)이라는 GLOM의 통찰을 검증하는 단계임을 주장합니다. 잠재 공간(latent space)에서의 **보간(interpolation)**과 비동기적 패치 처리를 가능하게 함으로써, APM은 연결주의적 하드웨어와 지각적 장 사이의 간극을 메웁니다.

저자들은 APM이 다음과 같은 방향을 제시한다고 강조합니다:

• 연속 학습 (Continuous Learning): 인간의 피드백 없이도 결정 경계를 동적으로 조정함으로써 인간의 연속적 학습을 모방합니다.
• 하드웨어 효율성 (Hardware Efficiency): 더 낮은 메모리 사용량과 더 높은 대역폭 효율성으로 공유 연결주의 하드웨어 상에서 지각을 구현합니다.
• 자기 완결성 (Self-Sufficiency): 예비 결과에 따르면 APM은 교사 없이도 RGB 재구성을 수행할 수 있으며, 이는 향후 자기 완결적인 지각 시스템에 대한 가능성을 시사합니다.

본 연구는 이미지 분류와 TTT에 집중하고 있으며, TTT 반복이 여전히 필요하다는 점을 인정하며 범위를 겸손하게 설정하고 있습니다. 즉, 모든 OOD 문제를 해결한다고 주장하는 것이 아니라, 기존 TTT 패러다임에 대한 계산 효율적이고 구조적으로 단순한 대안을 제시하는 데 목적이 있습니다.