⚡ electrical engineering

Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling

이 논문은 압축된 단일 스케일 토크나이저를 사용하여 자기회귀적 이미지 생성을 조대-세밀(coarse-to-fine) 차기-밀집-스트라이드(next-dense-stride) 예측으로 재정의함으로써, 효율적인 병렬 추론과 통합된 멀티모달 모델링을 가능하게 하는 동시에 기존의 단일 그리드 및 다중 스케일 베이스라인들을 능가하는 새로운 생성 패러다임인 DenseAR을 소개한다.

원저자: Chicago Y. Park, Jialin Mao, Xiaojian Xu, Taha Kass-Hout, Ulugbek S. Kamilov, Cao Xiao

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chicago Y. Park, Jialin Mao, Xiaojian Xu, Taha Kass-Hout, Ulugbek S. Kamilov, Cao Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 믿기지 않을 정도로 정교한 뇌나 풍경 벽화를 그리려고 한다고 상상해 보세요. 오랫동안 예술가들(또는 이 경우에는 컴퓨터 모델들)은 두 가지 주요한 방식을 사용해 왔지만, 두 방식 모두 큰 문제가 있었습니다.

첫 번째 방식은 마치 왼쪽 상단에서 시작하여 오른쪽 하단으로 픽셀 하나하나를 이동하며 행 단위로 그리는 것과 같았습니다. 이는 매우 정밀하지만, 오른쪽 하단 구석을 그리기 위해 왼쪽 상단을 마칠 때까지 기다려야 하므로 매우 고통스러울 정도로 느립니다. 두 번째 방식은 다양한 크기의 캔버스를 쌓아 올리는 것과 같았습니다. 아주 작고 흐릿한 스케치로 시작해서, 중간 크기, 그다음에는 거대한 캔버스를 차례로 겹쳐 쌓아 최종 그림을 완성하는 방식입니다. 이 방식은 더 빠르고 "전체적인 그림"을 먼저 포착할 수 있었지만, 모든 추가 캔버리를 계속 들고 다녀야 했기에 매우 무겁고 메모리를 많이 잡아먹었습니다.

여기, DenseAR이라는 새로운 접근법이 등장했습니다. 이는 하나의 캔버스를 사용하되 붓질 패턴을 바꾸는 영리하고 초고속인 화가처럼 행동합니다.

"Next-Dense-Stride"의 마법

모든 점을 하나씩 찍는 대신, DenseAR은 next-dense-stride prediction이라는 기술을 사용합니다.

이렇게 생각해보세요:

전체적인 그림 우선: 화가는 캔버스 위에 아주 멀리 떨어진 몇 개의 점을 툭툭 떨어뜨리며 시작합니다. 이 희소한(sparse) 점들은 산과 하늘이 어디에 위치할지 결정하는 것처럼 "글로벌 구조"를 설정합니다.
간격 채우기: 다음으로, 화가는 첫 번째 점들 사이의 공간에 점을 추가하지만, 아직 모든 공간을 다 채우지는 않습니다. 더 조밀한(dense) 층을 추가하는 것입니다.
세부 사항: 마지막으로, 아주 미세한 틈새들을 채워 넣습니다.

멋진 점은, 화가가 같은 층을 그릴 때 다음 점이 마를 때까지 기다릴 필요가 없다는 것입니다. 각 단계에서 한 번에 많은 점을 그릴 수 있습니다. 즉, 이 방식은 "거친 것에서 정교한 것으로(coarse-to-fine)" 가는 이점(큰 그림을 먼저 그린 뒤 세부 사항을 채움)을 챙기면서도, 여러 개의 캔버스를 쌓아야 하는 무거운 짐 없이, 또한 행 단위로 기다려야 하는 느린 게임 없이 작업을 수행합니다.

모든 것을 지배하는 하나의 모델

보통 컴퓨터에게 세 가지 다른 작업(예: 한 종류의 의료 스캔을 다른 종류로 변환하기, 완전히 새로운 스캔 생성하기, 종양 윤곽 그리기 등)을 시키려면, 세 개의 서로 다른 전문화된 모델이 필요합니다. 이는 마치 수프만 만드는 요리사, 빵만 굽는 요리사, 스테이크만 굽는 요리사가 각각 따로 있는 것과 같습니다.

DenseAR은 동일한 주방과 동일한 식재료를 사용하여 이 세 가지 일을 모두 할 수 있는 슈퍼 셰프와 같습니다. 논문은 이 단일 모델이 다음 작업들을 수행할 수 있음을 보여줍니다:

변환(Translate): T1 MRI 스캔을 FLAIR MRI 스캔으로 바꿉니다 (이미지의 "맛"을 바꾸는 것).
생성(Generate): 텍스트 설명이 아닌 모달리티 레이블(특정 지시 토큰)로부터 완전히 새로운 MRI 스캔을 만들어냅니다.
분할(Segment): 종양 주변에 마스크를 그립니다.

이 모델은 단순히 모델이 읽는 명령의 순서(토큰 시퀀스)를 변경함으로써 이 모든 것을 해냅니다. 각 작업마다 새로운 주방 설정을 할 필요 없이, 하나의 단일 시퀀스 안에서 여러 소스 그리드(다양한 MRI 스크린 등)와 타겟 그리드를 처리하며, 단순한 마커를 통해 어떤 작업을 할지 안내받습니다.

결과: 빠르고, 가볍고, 정확함

저자들은 두 가지 매우 다른 대상인 자연 이미지(유명한 ImageNet 데이터셋)와 의료 뇌 스캔(BraTS-2023 데이터셋)을 대상으로 테스트했습니다.

자연 이미지의 경우:

DenseAR은 기존의 행 단위 방식보다 훨씬 빨랐습니다. 기존 방식이 이미지를 완성하는 데 576단계가 걸린 반면, DenseAR은 단 64단계 만에 끝냈습니다.
또한 메모리 사용량이 훨씬 적었습니다. 경쟁 모델인 "멀티 스케일" 모델은 비슷한 품질 점수를 얻기 위해 22.29 GB의 메모리가 필요했지만, DenseAR-XL은 훨씬 더 나은 품질을 달성하면서도 단 4.57 GB만을 사용했습니다.
품질 또한 최상위권이었습니다. XL 버전의 "FID" 점수(이미지가 얼마나 실제처럼 보이는지를 나타내는 척도)는 1.90로, 기존의 최고 모델들과 매우 대등한 수준이었습니다.

의료 이미지의 경우:

단일 DenseAR 모델은 변환(한 스캔 유형을 다른 유형으로 변환) 및 생성 작업에서 전문화된 모델들을 능가하거나 대등한 성능을 보였습니다.
종양 분할(종양을 그리는 작업)에서 Dice 계수 0.851을 기록했습니다. 이는 전용 "전문가" 모델(0.898 기록)에 거의 근접한 수치이며, 별도의 텍스트 인코더나 사전 학습된 백본 없이도 다른 일반 모델들보다 뛰어난 성적을 거두었습니다.

이것이 아닌 것 (What it's NOT)

논문은 이 모델이 무엇이 아닌지에 대해서도 매우 명확히 밝히고 있습니다. 이것은 모든 문제를 즉각 해결하는 마법 지팡이가 아닙니다.

이 모델은 다른 "coarse-to-fine" 모델들이 사용하는 무거운 멀티 스케일 적층 방식을 사용하지 않습니다. 저자들은 그 방식이 너무 비용이 많이 들고 불필요하다고 주장합니다.
이 모델은 매번 작업을 요청할 때마다 완벽한 예시를 보여줘야 하는 "인컨텍스트 러닝(in-context learning)"에 의존하지 않습니다. DenseAR은 시퀀스 내의 단순한 레이블로부터 작업을 학습하며, 전체 예시 이미지를 필요로 하지 않습니다.
분할 작업에 대해 완벽하다고 주장하지 않습니다. 특정 작업에 대해서는 "경쟁력이 있고 대등한" 수준이지만, 해당 분야의 전용 전문가 모델이 여전히 약간의 우위를 점하고 있습니다.

핵심 요약

DenseAR은 속도와 품질 사이에서, 혹은 한 가지 일과 여러 가지 일 사이에서 하나를 선택할 필요가 없다는 것을 시사합니다. 모델이 이미지를 바라보는 순서를 바꾸는 것만으로(희소하게 시작하여 점점 더 조밀하게 만드는 방식, 단일 그리드 위에서), 빠르고 메모리 효율적이며 놀라울 정도로 다양한 작업을 동시에 수행할 수 있음을 증명했습니다. 이는 컴퓨터가 이미지를 "보고" 생성하는 방식에 대한 새로운 사고방식이며, 때로는 가장 좋은 전진 방법이 바로 당신의 보폭(stride)을 바꾸는 것임을 보여줍니다.

기술 요약: 다중 모달 자기회귀 시각 모델링을 위한 DenseAR

문제 정의

자기회귀(Autoregressive, AR) 시각 모델링은 토큰 예측 순서와 관련하여 추론 효율성과 생성 품질 사이의 근본적인 트레이드오프에 직면해 있습니다.

래스터 순서(Raster-order) AR: LlamaGen과 같은 모델은 단일의 압축된 잠재 그리드(latent grid) 상에서 작동하지만, 토큰을 엄격하게 순차적으로(행 단위로) 예측합니다. 이는 메모리 효율적이지만, 수백 번의 순차적 디코딩 단계로 인해 추론 속도가 느려지는 결과를 초래합니다.
다음 스케일(Next-scale) AR: VAR(Visual Autoregressive Modeling)와 같은 모델은 저해상도에서 고해상도로 토큰 맵을 예측함으로써 정교한 조-세-정(coarse-to-fine) 생성을 달성합니다. 그러나 이는 이미지를 여러 층의 그리드 스택으로 표현하는 다중 스케일 토크나이저를 필요로 합니다. 이는 토큰 시퀀스 길이를 크게 늘려 메모리 소비와 계산 비용을 높이며, 특히 소스 이미지가 추가적인 다중 스케일 스택을 더하는 조건부 생성 작업(예: 이미지 변환)에서 치명적입니다.

따라서 기존 방식들은 래스터 순서의 순차적 느림과 다중 스케일 시퀀스의 무거운 계산 비용 사이에서 갈피를 잡지 못하고 있습니다. 또한, 의료 영상 분야의 통합 생성 모델은 종종 서로 다른 작업(합성, 변환, 분할)을 위해 별도의 아키텍처에 의존하거나, 텍스트 인코더나 인컨텍스트 예시와 같은 무거운 구성 요소를 필요로 하여 유연성과 효율성이 제한됩니다.

방법론: DenseAR

저자들은 DenseAR라는 생성 패러다임을 도입하며, 이를 통해 자기회귀 이미지 생성을 단일 스케일 잠재 그리드 상에서의 다음 밀집 스트라이드(next-dense-stride) 예측으로 재정의합니다.

1. 다음 밀도 스트라이드 예측 (Next-Dense-Stride Prediction)

다중 스케일 토크나이저를 사용하는 대신, DenseAR는 단일 스케일 토크나이저(예: VQ-VAE)를 사용하여 이미지를 고정된 $G \times G$ 그리드의 이산 토큰으로 매핑합니다. 조-세-정(coarse-to-fine) 생성 순서는 그리드의 해상도를 변화시키는 것이 아니라, **예측 스트라이드(prediction stride)**를 변화시킴으로써 달성됩니다.

스트라이드 피라미드(Stride Pyramid): 모델은 감소하는 스트라이드 시퀀스 $K, K/2, \dots, 1$ 에 의해 정의된 단계별로 토큰을 예측합니다.
조-세-정 흐름(Coarse-to-Fine Flow):
- 1단계 (Coarse): 모델은 전역적인 레이아웃을 설정하기 위해 희소한 서브 그리드(예: 매 $K$ 번째 토큰)를 예측합니다.
- 후속 단계: 스트라이드가 절반으로 줄어들며, 모델은 이전의 더 거친 스트라이드에 의해 커버되지 않은 새로운 위치만을 예측합니다.
- 최종 단계: 스트라이드가 1이 되어 남은 세부 사항들을 채웁니다.
병렬 디코딩(Parallel Decoding): 각 단계 내에서 토큰은 병렬로 예측됩니다. 훈련 목적 함수가 단계 내의 토큰 순서를 섞기 때문에, 모델은 이전(더 거친) 단계로부터 확정된 컨텍스트를 바탕으로 현재 단계의 임의의 위치를 예측하는 법을 배웁니다. 이를 통해 전체 단계를 단 한 번의 단계로 디코딩할 수 있어, 래스터 순서에 비해 총 추론 단계를 획기적으로 줄여줍니다.

2. 통합 다중 모달, 다중 작업 백본 (Unified Multimodal, Multi-Task Backbone)

DenseAR는 이 프레임워크를 확장하여 단일 백본 내에서 여러 모달리티(예: 서로 다른 MRI 대조도)와 작업(생성, 변환, 분할)을 처리할 수 있는 통합 모델로 만듭니다.

토큰 시퀀스 구조: 작업은 단일 토큰 시퀀스로 정의됩니다: [TASK] [SRC] x1 [SRC] x2 ... [TGT] x*.
- [TASK]: 특정 작업(예: generate, translate, segment)을 나타내는 마커입니다.
- [SRC]: 소스 모달리티를 위한 마커로, 래스터 순서로 배치된 고정된 컨텍스트 토큰입니다.
- [TGT]: 타겟 그리드로, 다음 밀도 스트라이드 순서에 따라 생성되는 유일한 부분입니다.
모달리티 불가지론(Modality Agnosticism): 모든 모달리티(이미지 및 분할 마스크)가 공유된 코드북을 사용하여 동일한 이산 토큰 도메인으로 인코딩되므로, 모달리티별 인코더나 어댑터가 필요하지 않습니다.
작업 조건부 분류기 없는 가이드 (Task-Conditional Classifier-Free Guidance, CFG): 모델은 추가 구성 요소 없이 CFG를 지원합니다. 훈련 중에는 소스 모달리티가 확률 $p_{drop}$ 으로 무작위로 드롭(더미 블록으로 대체)됩니다. 추론 시, 최종 예측은 소스 조건부 예측과 소스 프리(source-free) 예측의 가중 결합으로 이루어지며, 이를 통해 소스 입력에 얼마나 엄격하게 따를지 혹은 작업 사전 확률(task prior)을 따를지를 제어할 수 있습니다.

주요 기여

다음 밀도 스트라이드 패러다임: 단일 스케일 그리드에서 조-세-정 합성을 가능하게 하는 새로운 생성 순서를 제시하여, 래스터 순서의 느린 순차적 디코딩과 다중 스케일 모델의 시퀀스 팽창 문제를 모두 피했습니다.
통합 의료 영상 모델: 텍스트 인코더, 사전 학습된 백본, 또는 인컨텍스트 예시 없이도 단일 백본을 통해 다중 대조도 합성, 교차 모달 변환, 종양 분할을 통합한 최초의 자기회귀 모델입니다.
효율성 및 확장성: 컴팩트한 토큰 예산(단일 그리드)을 유지하면서 병렬 디코딩을 가능하게 하여, 메모리가 병목이 되는 다중 작업 환경에 적합합니다.
오픈 소스 공개: 자연 이미지(ImageNet) 및 의료 영상(BraTS) 설정 모두에 대한 전체 훈련 및 추론 파이프라인을 공개합니다.

실험 결과

의료 영상 (BraTS-2023)

다중 대조도 뇌 MRI(T1, T1ce, T2, FLAIR) 및 종양 분할에 대해 평가되었습니다:

통합 성능: 단일 DenseAR 모델은 세 가지 작업 모두에서 작업별 전문 모델 및 다른 통합 모델(EditAR, MVG)보다 우수하거나 대등한 성능을 보였습니다.
- 변환(Translation): 최상의 교차 모달 변환 결과(예: T1 $\to$ FLAIR)를 달성하였으며, GAN 기반(Pix2Pix, CycleGAN) 및 확산 기반(MSG-LDM) 전문가 모델뿐만 아니라 통합 모델인 EditAR 및 MVG보다 뛰어난 성능을 보였습니다.
- 생성(Generation): 생성 품질(FID) 측면에서 DiT에 이어 2위를 기록했으나, 변환과 분할을 동시에 수행하면서도 LlamaGen보다는 유의미하게 앞섰습니다.
- 분할(Segmentation): 확산 기반 모델인 MedSegDiff-V2와 대등한 수준의 경쟁력 있는 Dice 점수(0.851)를 달성했으나, 전용 모델인 nnU-Net(0.898)보다는 약간 낮았습니다.
효율성: 통합 모델은 경쟁 모델인 EditAR(24.61 GB)에 비해 단일 VQ-VAE를 사용하고 텍스트 인코더가 필요 없어 더 낮은 메모리(10.72 GB)를 요구했습니다.

자연 이미지 생성 (ImageNet)

256 $\times$ 256 해상도의 클래스 조건부 생성에 대해 평가되었습니다:

품질 vs 효율성: DenseAR-XL은 64단계의 디코딩 단계와 4.57 GB 메모리로 FID 1.90을 달성했습니다.
- 래스터 순서 대비: LlamaGen(FID 2.62)보다 훨씬 뛰어난 성능을 보이면서도, 단계 수는 9배 적게(576 vs 64) 사용했으며 메모리도 더 적게 사용했습니다.
- 다중 스케일(VAR) 대비: VAR-d24(FID 1.90 vs 2.09)와 대등하거나 더 나은 품질을 달면서도, 약 5배 적은 메모리(4.57 GB vs 22.29 GB)와 더 적은 파라미터(719M vs 1.0B)를 사용했습니다.
절제 연구(Ablation): 동일한 아키텍처와 단계 예산을 가진 무작위 순서 베이스라인(ARPG)과 비교했을 때, 다음 밀도 스트라이드 순서 그 자체만으로 FID(XL 기준 1.90 vs 1.99)와 Inception Score가 개선됨을 확인하여, 다중 스케일 팽창 없이도 조-세-정 구조의 이점을 입증했습니다.

의의 및 주장

본 논문은 DenseAR가 "조-세-정" 생성 순서를 토크나이저의 해상도로부터 분리함으로써 자기회귀 시각 모델링의 오랜 트레이드오프를 해결한다고 주장합니다. 단일 그리드 상에서 예측 스트라이드로 조-세-정 우선순위를 전환함으로써, DenseAR는 단일 스케일 모델의 메모리 효율성을 유지하면서도 다중 스케일 방식의 품질 이점을 얻었습니다.

의료 분야에서 저자들은 DenseAR가 합성, 변환, 분할을 통합한 최초의 AR 모델임을 강조합니다. 이러한 통합은 작업을 입력/출력 그리드 구성의 단순한 변형으로 취급하는 유연한 토큰 시퀀스 설계를 통해 달성되었으며, 이를 통해 작업별 헤드나 복잡한 조건부 모듈의 필요성을 제거했습니다. 이 연구는 하나의 효율적인 백본이 다양한 작업에 걸쳐 전문 모델과 경쟁할 수 있음을 보여주며, 다중 모달 의료 영상 애플리케이션을 위한 확장 가능한 경로를 제시합니다.