기술 요약: 픽셀보다 구조: 가변 길이 시각 프로그램 학습

문제 정의

현재의 심층 신경망은 컴퓨터 비전 작업에서 탁월한 성능을 발휘하지만, 생성된 표현은 종종 지나치게 길고 분산되어 있으며 검사나 검증이 어렵습니다. 이산적 시각 토크나이저 (DVT) 는 이미지를 이산적 코드의 순차적 시퀀스로 매핑함으로써 구조적인 장면 설명을 향한 길을 제시하지만, 기존 접근법은 두 가지 주요 한계를 겪고 있습니다:

1. 고정된 프로그램 길이: 대부분의 DVT(예: VQ-VAE, VQGAN, 그리고 최근의 1D 토크나이저) 는 입력 이미지당 고정된 공간 그리드나 고정된 수의 잠재 슬롯을 강제합니다. 이는 "코드 예산"을 장면의 실제 시각적 복잡성으로부터 분리하여, 오컴의 면도날과 최소 설명 길이와 같은 원칙을 위반합니다.
2. 픽셀 중심 훈련: 표준 DVT 는 일반적으로 픽셀 수준의 재구성 손실로 훈련됩니다. 이러한 충실도 강조는 종종 모델이 고수준 의미론적 또는 기하학적 구조보다는 저수준 질감 특성을 포착하는 데 자원을 낭비하게 만듭니다.

더욱이, 가변 길이 토크나이저를 허용하는 기존 방법들은 대개 사후 검색, 추론 시 라우팅, 또는 사전 훈련된 레이트의 이산 집합에 의존하며, 모델과 장면 콘텐츠에 직접 결합된 연속적이고 이미지별 시퀀스 길이를 학습하지는 않습니다.

방법론: STROP

저자들은 STROP(Structure over Tokens) 을 제안합니다. 이는 구조적인 장면 표현을 형성하면서도 동시에 이미지의 시각 프로그램 최적 길이를 학습하도록 설계된 이산적 시각 토크나이저 아키텍처입니다.

아키텍처

STROP 은 다섯 가지 주요 단계로 구성됩니다:

1. 동결된 인코더: 동결된 DINOv3 ViT 인코더가 입력 이미지에서 패치별 특징을 추출합니다.
2. 프로그램 생성기: 학습 가능한 쿼리 토큰 시퀀스가 추가된 패치 특징을 처리하는 인코더 전용 트랜스포머입니다. 인과적 마스크는 쿼리 토큰이 이전 쿼리와 소스 특징에만 주의를 기울이도록 하여, 원시 프로그램 시퀀스 $Z_p$를 생성합니다.
3. 벡터 양자화: 원시 프로그램은 저차원 공간으로 투영된 후 고정된 코드북 ($|CB|=1024$) 에 대해 최근접 이웃 조회를 통해 양자화되어 이산 토큰을 생성합니다.
4. 길이 헤드: 경량 MLP 가 인코더 특징으로부터 직접 활성 프로그램 길이 ($\hat{L}$) 를 예측합니다. 이를 통해 모델은 자기 autoregressive 샘플링 없이 시퀀스의 어느 부분을 노출할지 결정할 수 있습니다.
5. 인터프리터: 대칭된 인코더 전용 트랜스포머가 잘린 프로그램 (길이 $\hat{L}$의 접두사) 을 다시 공간 특징 그리드로 확장합니다. 이 그리드는 이후 합성곱 디코더로 전달됩니다.

훈련 목적 및 커리큘럼

전통적인 토크나이저와 달리, STROP 은 코드북을 형성하기 위해 픽셀 수준 재구성 기울기를 우회합니다. 대신 전체 훈련 신호는 동결된 DINOv3 패치 특징을 통한 특징 증류에서 파생됩니다. 손실 함수는 잠재 정렬 (교사 특징에 대한 코사인 유사도 및 MSE), 커트먼트 손실, 그리고 다양성 정규화기를 결합합니다.

적응적 잘라내기를 가능하게 하기 위해 STROP 은 4 단계 커리큘럼을 사용합니다:

• 1 단계 (무작위 잘라내기): 모델은 무작위로 잘린 프로그램으로 훈련되어 정보성 있는 콘텐츠가 초기 토큰으로 앞쪽으로 배치되도록 강제합니다.
• 2 단계 (오라클 추정): 시스템은 재구성 오차와 레이트-왜곡 곡선의 국소 기울기를 분석하여 각 샘플에 대한 "오라클" 길이를 추정합니다.
• 3 단계 (지도 훈련): 잘라내기가 무작위로 유지되는 동안 길이 헤드가 이러한 오라클 목표를 예측하도록 훈련되어 안정적인 학습을 보장합니다.
• 4 단계 (인계): 훈련된 길이 헤드가 점진적으로 잘라내기를 제어하도록 배치되어 무작위 길에서 자기 예측 길이로 전환됩니다.

추론 시, 길이 헤드가 $\hat{L}$을 예측하고, 디코딩 전에 프로그램이 이 길이로 하드하게 잘립니다. 분리된 픽셀 디코더는 코드북이 고수준 잠재 표현의 품질에 의해 완전히 형성되도록 보장하는 검사 계층으로만 기능합니다.

주요 기여

이 논문은 네 가지 구체적인 기여를 제시합니다:

1. 가변 길이 시각 프로그램: STROP 은 지역적 레이트 - 왜곡 탐침과 접두사 커리큘럼을 사용하여 이미지별 프로그램 길이를 감독하며, 토큰 수를 장면 복잡성에 따라 증가시킬 수 있게 합니다.
2. 간단한 생성기 - 인터프리터 토크나이저: 이 아키텍처는 학습된 쿼리를 사용하여 인과적으로 순서화된 VQ 코드를 쓰고 읽는 두 개의 인코더 전용 트랜스포머를 사용하며, DINOv3 특징 증류에 의해 안내됩니다.
3. 픽셀 훈련 없이 픽셀 탐침: 분리된 픽셀 디코더를 사용하여 재구성을 검사 표면으로 취급함으로써, 픽셀 기울기가 코드북을 형성하는 것을 방지하고 질감보다 표현의 품질을 우선시합니다.
4. 표현 및 구조 평가: 저자들은 레이트 - 품질 트레이드오프, 하류 밀도 예측 성능, 그리고 코드 재사용과 공간적 기반을 통한 구성적 구조의 증거에 대한 포괄적인 평가를 제공합니다.

결과

잠재 정렬 및 압축

STROP 은 동결된 DINOv3 특징과 강력한 정렬을 달성합니다. COCO 데이터셋에서 DINO-S/STROP-S 변형은 0.855 의 코사인 유사도와 0.734 의 $R^2$를 달성합니다. 이 모델은 가변 크기 특징 텐서를 최대 64 개의 이산 코드로 구성된 적응형 시퀀스로 압축하며, 백본에 따라 최악의 경우 압축 비율이 약 4,900 배에서 약 13,100 배까지 다양합니다.

하류 성능

동결된 STROP 표현을 선형 탐침을 통해 하류 작업에 사용할 때:

• 시맨틱 분할: STROP 은 VOC, COCO-Stuff-27, ADE20K 에서 상용 적응형 토크나이저 (FlexTok, One-D-Piece) 보다 일관되게 우수한 성능을 보입니다. 예를 들어, DINO-B/STROP-S 잠재 표현은 VOC 에서 67.5 mIoU 를 달성하여 FlexTok(48.4 mIoU) 을 크게 앞섭니다.
• 멀티 레이블 분류: STROP 은 동결된 DINO 교사 모델과 일치하거나 약간 초과하며, 평균적으로 FlexTok 보다 약 10 점의 평균 mAP 를 더 높입니다.
• 깊이 추정: STROP 은 깊이 추정을 위한 작업 관련 콘텐츠를 보존하지만, 가장 강력한 교사 모델보다는 뒤처집니다.

구조 분석

• 복잡성 상관관계: 프로그램 길이는 장면 복잡성과 강한 상관관계를 보입니다. CLEVR 에서 활성 프로그램 길이는 정답 객체 수와 $r \approx 0.74$의 피어슨 상관관계를 보입니다.
• 구성적 구조: 토큰 지우기 진단은 개별 프로그램 토큰이 장면 위에 공간적으로 일관된 "핸들"로 작용함을 보여줍니다. 쌍별 토큰 시너지는 의미론적 영역과 일치하여 학습된 시각 문법의 출현을 시사합니다.
• LLM 디코딩: 최첨단 LLM(Qwen3.5, DeepSeek-V3.1) 은 코드 시퀀스에서 대략적인 공간 배치 (객체 수 및 위치) 를 디코딩할 수 있지만, 토큰을 특정 속성 (색상, 재질) 에 신뢰성 있게 연결하는 데는 실패합니다. 이는 코드북이 배치를 노출하지만 아직 완전히 투명한 속성 바인딩을 제공하지는 않음을 나타냅니다.

의의 및 한계

이 논문은 STROP 이 가변 길이 시각 프로그램이 사후 검색 없이 엔드 - 투 - 엔드로 학습되어 "코드 예산"을 장면 복잡성에 효과적으로 적응시킬 수 있음을 보여준다고 주장합니다. 픽셀 재구성으로부터 훈련을 분리함으로써, 이 모델은 구조적 및 의미론적 충실도를 우선시하여 하류 작업에 매우 효과적이고 구성적 구조의 징후를 보이는 표현을 생성합니다.

그러나 저자들은 현재 시스템 상태에 대해 겸손한 입장을 견지합니다:

• 가독성 격차: 원시 양자화 토큰에 대한 직접 탐침은 해석된 필드에 대한 탐침보다 성능이 낮아, 프로그램은 단순한 선형 특징이 아닌 실행 가능한 중간 표현으로 보는 것이 가장 적합함을 시사합니다.
• 속성 바인딩: 코드북은 아직 언어 모델을 위해 이산적 속성 (색상, 재질) 을 신뢰성 있게 인코딩하지 못하여, 완전히 투명한 심볼릭 인터페이스로서의 유용성이 제한됩니다.
• 작업 특이성: STROP 은 대부분의 벤치마크에서 베이스라인을 능가하지만, Cityscapes 데이터셋에서는 FlexTok 보다 뒤처집니다. 이는 아마도 밀집되고 세밀한 거리 장면의 특성으로 인해 픽셀 인식 디코딩이 더 유리하기 때문일 것입니다.

이 연구는 STROP 을 원칙적인 구조적 표현을 향한 한 걸음으로 위치시키며, 향후 작업으로는 코드북 용량 확장, 프로그램 네이티브 탐침 프로토콜 개발, 그리고 속성 바인딩 개선을 위한 캡션 신호와의 코드 정체성 정렬이 제안됩니다.