💻 computer science

VISTA: Test-Time Compositional Alignment for Visual Autoregressive Generation

VISTA는 모델 파라미터를 수정하거나 추가 학습을 요구하지 않으면서도 중간 표현을 최적화하기 위해 생성 과정에 개입함으로써 구성적 정확도와 공간적 관계를 크게 향상시키는, 시각적 자기회귀 모델을 위한 최초의 경사 하강법 기반 테스트 시간 정렬 프레임워크이다.

원저자: Hossein Shahabadi, Niki Sepasian, Mahdieh Soleymani Baghshah

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hossein Shahabadi, Niki Sepasian, Mahdieh Soleymani Baghshah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 "파란 꽃 위에 앉아 있는 빨간 새"와 같은 단순한 문장을 생생한 이미지로 바꾸어, 말로부터 그림을 그릴 수 있는 세상을 상상해 보십시오. 수년 동안 이 작업을 위한 최고의 도구들은 정적 노이즈로부터 이미지를 서서히 조각해 나가는 디퓨전(diffusion)이라는 방식에 의존해 왔습니다. 최근에는 시각적 자기회귀 생성(visual autoregressive generation)이라는 더 빠르고 다른 접근 방식이 등장했습니다. 이미지를 노이즈로부터 조각하는 대신, 이 모델들은 거친 스케치에서 시작하여 단계를 거치며 더 세밀한 디테일을 추가하며 이미지를 구축하는데, 이는 마치 예술가가 그림을 다듬는 과정과 매우 유사합니다. 이 새로운 모델들은 믿기 힘들 정도로 빠르고 놀랍도록 선명한 이미지를 만들어내지만, 특정한 종류의 논리에는 어려움을 겪습니다. 이들은 사물들을 올바르게 묶거나 적절한 위치에 두는 데 자주 실패합니다. 만약 당신이 빨간 새와 파란 꽃을 요청한다면, 컴퓨터는 새를 파란색으로 그리거나 꽃을 새 안에 배치할 수도 있습니다. 속성을 객체에 올바르게 결합하고 공간에 배치하는 데 실패하는 이러한 문제는 가장 강력하고 대규모인 버전의 모델들조차 스스로 해결할 수 없는 지속적인 문제입니다.

샤리프 공과대학교(Sharifax University of Technology)의 연구진은 모델을 재학습시키거나 내부 코드를 변경하지 않고 이 문제를 해결하는 새로운 방법을 개발했습니다. 그들은 이 접근 방식을 VISTA라고 부릅니다. 컴퓨터에게 새로운 사고 방식을 가르치려고 노력하는 대신, VISTA는 그림을 그리는 과정 자체에서 가이드 역할을 합니다. 컴퓨터가 이미지를 생성하는 도중, VISTA는 특정 초기 단계에서 멈추어 생성되는 그림이 지시 사항과 일치하는지 확인합니다. VSTA는 컴퓨터가 단어를 이미지의 부분들과 어떻게 연결하는지 살펴보고, 정보의 흐로를 미세하고 정밀하게 조정합니다. 이러한 조정은 컴퓨터를 다시 궤도에 올려놓아, 이미지가 구축되는 동안 빨간 새가 빨간색을 유지하고 꽃이 분리된 상태를 유지하도록 유도합니다. 시스템은 컴퓨터의 내부 어텐션(attention) 메커니즘을 최적화함으로써 이를 수행하며, 본질적으로 모델에게 적절한 순간에 적절한 단어에 더 집중하라고 요청하는 것입니다.

연구진은 이 방법을 두 가지 크기의 이미지 생성 모델(20억 개의 파라미터를 가진 모델과 80억 개의 파라미터를 가진 모델)에 대해 테스트했습니다. 그들은 VISTA를 적용했을 때 컴퓨터의 복잡한 지시 이행 능력이 극적으로 향상된다는 것을 발견했습니다. 이미지가 묘사와 얼마나 잘 일치하는지를 측정하는 표준 테스트에서, VISTA를 적용한 작은 모델은 VISTA가 없는 훨씬 더 큰 모델보다 더 나은 성능을 보였습니다. 실제로, 가이드가 적용된 작은 모델은 객체를 서로의 관계 속에 배치하는 능력을 포함한 대부분의 범주에서 가이드가 없는 큰 모델의 성능을 능가했습니다. 이러한 개선은 특히 "왼쪽"이나 "뒤"와 같은 위치 관계를 컴퓨터가 올바르게 배치하는 공간 작업에서 가장 눈에 띄었습니다. 연구진은 또한 이미지의 품질을 측정했으며, 이러한 교정이 그림을 더 나쁘게 만들지 않았음을 발견했습니다. 사실, 이미지 품질을 판단하는 독립적인 시스템은 가이드가 적용된 이미지가 유의미하게 더 낫다고 평가했습니다.

이 발견이 특히 중요한 이유는 이러한 모델들의 능력에 대한 우리의 이해를 어떻게 바꾸는지에 있습니다. 오랫동안, 만약 모델이 어떤 작업에 실패한다면 유일한 해결책은 모델을 더 크게 만들거나 더 많은 데이터로 처음부터 다시 학습시키는 것이라고 믿어져 왔습니다. 이 새로운 연구는 작고 큰 모델 사이의 상당한 격차가 원시적인 힘의 부족이 아니라, 생성 과정 중의 집중력 부족 때문임을 보여줍니다. 생성 과정 중 적절한 순간에 모델의 주의를 돌림으로써, 연구진은 사라졌던 능력을 많이 회복했습니다. 이 방법은 이미지 생성의 초기, 거친 단계에서만 개입하는데, 이곳은 전체적인 레이아웃이 결정되는 곳입니다. 기본적인 배치가 올바르게 잡히고 나면, 모델은 자연스럽게 세부적인 디테일을 스스로 정확하게 채워 넣습니다. 이는 시스템이 전체 과정 내내 지속적으로 모니터링되거나 교정될 필요가 없음을 의미하며, 따라서 효율적이고 실용적입니다.

연구진은 또한 한 물체가 다른 물체 뒤에 있는 것과 같은 3차원 관계를 처리하는 방법을 탐구했습니다. 컴퓨터의 내부 지도는 깊이 채널을 가지고 있지 않기 때문에, 깊이를 직접적으로 "볼" 수 없습니다. 이를 해결하기 위해, 팀은 평면 이미지 상에서 객체들이 겹치는 방식을 통해 깊이를 추론하는 방법을 고안했습니다. 그들은 만약 한 객체의 윤곽선이 다른 객체에 의해 방해받는다면, 첫 번째 객체가 앞에 있어야 함을 시스템이 인식하도록 가르쳤습니다. 이러한 특정한 기하학적 패턴을 장려함으로써, 시스템은 외부 도구나 복잡한 3D 데이터 없이도 믿을 만한 3D 순서로 객체를 배치하는 법을 배웠습니다. 이 접근 방식은 모델이 단순한 좌우 위치만큼이나 효과적으로 깊이 순서를 처리할 수 있게 해주었습니다.

이러한 개선의 대가는 이미지를 생성하는 데 걸리는 시간이 약간 증가하는 것이지만, 연구진은 품질 이득은 높고 시간 비용은 낮은 최적의 지점을 찾아냈습니다. 그들은 생성 과정의 초기 몇 단계만을 가이드하는 것만으로도 전체 이미지의 올바른 레이아웃을 확정하기에 충분하다는 것을 발견했습니다. 그 이상의 가이드 단계를 추가하는 것은 점진적인 수익 체감(diminishing returns)을 가져왔으며 시간도 더 오래 걸렸습니다. 이는 모델을 고치는 열쇠가 초기에 기초를 제대로 잡는 데 있음을 시사합니다. 이 방법은 새로운 학습 데이터나 특수 하드웨어 없이도 단순한 색상 매칭부터 복잡한 공간 배치에 이르기까지 다양한 유형의 지시 사항에 유연하게 적용될 수 있습니다.

궁극적으로, 이 연구는 현재의 이미지 생성기들의 한계가 반드시 설계상의 고정된 결함이 아니라, 생성 과정 중의 타이밍과 집중력의 문제이며, 이는 즉석에서 수정될 수 있다는 것을 보여줍니다. 생성 과정 중에 모델의 주의를 가이드하는 능력은 인공지능을 개선하는 새로운 길을 열어줍니다. 이는 우리가 더 나은 결과를 얻기 위해 항상 더 크고 비싼 모델을 구축할 필요는 없다는 것을 시사합니다. 때로는 우리가 이미 가지고 있는 모델이 적절한 시간에 적절한 것에 집중하도록 도와주기만 하면 됩니다. 이 접근 방식은 AI 생성 이미지를 더 신뢰할 수 있고 논리적으로 만드는 실용적인 방법을 제공하며, 컴퓨터가 우리가 묘사하는 복잡한 장면을 진정으로 이해하고 시각화할 수 있는 미래에 더 가까이 다가가게 합니다.

기술 요약: VISTA – 시각적 자기회귀 생성(Visual Autoregressive Generation)을 위한 테스트 타임 구성적 정렬

문제 정의

Infinity와 같은 시각적 자기회귀(Visual Autoregressive, VAR) 모델은 텍스트-이미지 생성을 위한 고품질의 빠른 대안으로 등장했습니다. 그러나 확산 모델(Diffusion Models)과 마찬가지로, 이들은 지속적인 구성적 실패(compositional failures) 문제를 겪고 있습니다. 이러한 모델들은 모델 규모가 커짐에도 불구하고 속성을 개체에 올바르게 결합하거나, 공간 관계(예: "파란 구체 위의 빨간 큐브")를 추론하고, 깊이 순서(depth ordering)를 처리하는 데 어려움을 겪습니다.

확산 모델을 위한 광범한 연구가 테스트 타임 정렬(test-time alignment) 방법(예: 샘플링 중 교차 주의 집중 최적화)을 개발해 왔지만, 이러한 기술들을 차기 스케일(next-scale) VAR 생성에 직접 적용할 수는 없습니다. VAR 모델은 다음과 같은 상태 유지형(stateful), 이산적, 다중 해상도 샘플링 프로세스를 통해 작동하기 때문입니다:

이산 토큰(Discrete Tokens): 연속적인 잠재 변수를 사용하는 확산 모델과 달리, VAR은 이산적인 토큰 맵을 생성합니다.
상태 유지 캐싱(Stateful Caching): 트랜스포머는 스케일 간에 지속적인 키-값(key-value) 캐시를 유지하며, 후속 스케일은 이전 스케일의 계산에 의존합니다.
그래디언트 희석(Gradient Dilution): 단일 벡터로 정규화된 전역 그래디언트는 VAR의 훨씬 더 큰 토큰 맵 전체로 희석되어, 요소별 업데이트를 무력하게 만듭니다.
캐시 손상(Cache Corruption): 표준 최적화 단계는 이후 스케일에서 필요한 어텐션 캐시를 덮어써서 생성 과정을 깨뜨릴 수 있습니다.

결과적으로, 재학습 없이 구성적 제약 조건에 맞춰 생성을 유도할 수 있는 VAR 모델용 그래디언트 기반 테스트 타임 개입 방법이 부재한 상황입니다.

방법론: VISTA

VISTA(Visual Autoregressive Semantic Test-time Alignment)는 차기 스케일 VAR 생성을 위해 특별히 설계된 최초의 그래디언트 기반 테스트 타임 프레임워크입니다. Infinity 아키텍처를 기반으로 구축된 VISTA는, 중간 단계의 연속 임베딩( $z_s$ )이 이산화되어 트랜스포머로 전달되기 전, 선택된 거친 스케일(coarse scales)에서 이를 최적화함으로써 생성 과정에 개입합니다.

핵심 메커니즘

상태 유지형 VAR 루프 내에서 그래디언트 기반 최적화를 안정적이고 효과적으로 만들기 위해, VISTA는 네 가지 핵심 메커니즘을 도입합니다:

미분 가능한 교차 주의 집중 캡처(Differentiable Cross-Attention Capture):
Infinity의 교차 주의 집중 레이어는 일반적으로 고정된 캐시 방식으로 평가되므로, VISTA는 온 더 플라이(on the fly) 방식으로 어텐션 계산을 재구성합니다. 최적화 대상인 표현( $z_s$ )으로부터 쿼리(query)를 계산하는 동시에, 텍스트 인코더로부터 오는 키(key)는 스톱 그래디언트(stop-gradient)를 적용하여 고정합니다. 이를 통해 $z_s$ 에 대한 미분 가능한 어텐션 맵( $A$ )을 얻어, 구성적 손실(loss)로부터 입력 임베딩까지 그래디언트가 흐를 수 있게 합니다.
상태 유지 생성에서의 안정적 최적화:
- 캐시 복구(Cache Restoration): 최적화 단계가 후속 스케일에서 사용되는 캐시를 손상시키는 것을 방방지하기 위해, VISTA는 해당 스케일의 계산을 미분 가능한 형태로 재구성하여 최적화 단계를 수행한 후, 정상적인 샘플링을 재개하기 전 캐시를 최적화 전 상태로 복구합니다.
- 토큰별 그래디언트 정규화(Per-Token Gradient Normalization): 큰 토큰 맵 전반에 걸친 그래디언트 희석을 막기 위해, VISTA는 전역 방식이 아닌 토큰별로 그래디언트를 정규화합니다. 또한 특정 스케일에서의 특징 맵(feature map) RMS 크기에 따라 학습률을 조절합니다.
- 목적 함수 공유(Objective Sharing): 여러 목적 함수가 활성화될 때, VISTA는 손실 값을 단순히 합산하는 대신 그래디언트 방향을 결합하여, 하나의 목적 함수가 임의로 지배하는 것을 방지합니다.
적응형 스텝 예산 및 스케일 선택:
- 스케일 선택: 개입은 오직 가장 거친 비퇴화 스케일(4×4 그리드부터 시작)에만 적용됩니다. 저자들은 레이아웃이 이러한 거친 스케일에서 확립되며, 이를 수정하는 것만으로도 미세한 스케일들이 구조를 상속받기에 충분하다고 주장합니다.
- 스텝 예산(Step Budget): 최적화 단계 수( $N_{eff}$ )는 초기 그래디언트 크기를 임계값과 비교하여 동적으로 결정됩니다. 만약 그래디언트가 작다면(제약 조건이 이미 충족되었음을 의미), 더 적은 단계만 수행하여 계산 비용을 절감합니다.
확장 가능한 목적 함수 공간:
VISTA는 교차 주의 집중에 대한 모든 미분 가능한 제약 조건을 통합할 수 있는 플러그형 레지스트리를 정의합니다. 논문에서는 이를 세 가지 특정 목적 함수로 구현했습니다:
- 속성 결합( $L_{bind}$ ): 멀티 포지티브 대조 학습(multi-positive contrastive objective)을 사용하여 특정 속성에 대한 어텐션을 관련 명사 쪽으로 끌어당기고 다른 명사로부터 멀어지게 합니다.
- 평면 관계( $L_{2D}$ ): 어텐션 분포를 기반으로 2D 공간 관계(예: 왼쪽/오른쪽, 위/아래)를 강제하는 우위 확률(probability-of-superiority) 목적 함수를 사용합니다.
- 깊이 순서( $L_{depth}$ ): 외부 깊이 추정기 없이 어텐션 맵만으로 3D 깊이 순서를 추론하는 새로운 기여입니다. 이는 분리(Separation)(중심점의 겹침을 처벌)와 **경계 포함(Boundary Containment, BC)**을 결합합니다. BC 항은 "뒤에 있는" 물체의 경계가 "앞에 있는" 물체를 어떻게 감싸는지 테스트하여, 어텐션 밀도로부터 직접적인 폐쇄(occlusion) 기하 구조를 유도합니다.

주요 기여

VAR를 위한 최초의 그래디언트 기반 프레임워크: VISTA는 그래디언트 기반 스티어링(steering)을 사용하는 차기 스케일 자기회귀 생성의 첫 번째 테스트 타임 정렬 방법이며, 재학습, 보상 모델 또는 후보 궤적 탐색을 필요로 하지 않습니다.
안정화 메커니즘: 본 논문은 잠재 변수 최적화를 상태 유지형 다중 스케일 생성에 적용할 때 발생하는 특정 실패 모드를 식별하고, 이를 특정 목적 함수와 독립적으로 해결하는 메커니즘(캐시 복구, 토큰별 정규화)을 제공합니다.
어텐션으로부터의 깊이 추출: 외부 깊이 모델이나 완성된 이미지에 대한 탐색 없이, 오직 교차 주의 집중 맵만을 사용하여 3D 깊이 순서를 처리하는 방법을 소개합니다.
확장성: 프레임워크는 최적화 메커니즘과 목적 함수를 분리하여, 핵심 인프라를 수정하지 않고도 새로운 구성적 제약을 플러그인처럼 연결할 수 있게 합니다.

실험 결과

VISTA는 Infinity-2B 및 Infinity-8B 모델을 대상으로 T2I-CompBench 및 GenEval 벤치마크에서 평가되었습니다.

구성적 개선: VISTA는 두 모델 규모 모두에서 모든 대상 구성 카테고리에 대해 성능을 향상시켰습니다.
- Infinity-2B의 경우, 평균 대상 점수가 거의 20% 상승했습니다 (T2I-CompBench 기준 0.480에서 0.575로).
- Infinity-8B의 경우, 평균 대상 점수가 거의 6% 상승했습니다.
- 가장 큰 폭의 이득은 2D 공간 관계에서 관찰되었습니다 (2B 모델에서 84%의 상대적 이득).
스케일링 효율성: 주목할 점은, VISTA를 적용한 Infinity-2B 모델이 대부분의 대상 카테고리와 평균 점수에서 수정되지 않은 Infinity-8B를 능가했다는 것입니다. 이는 모델 규모 사이의 구성적 격차 중 상당 부분이 테스트 타임에 회복 가능하다는 것을 시사합니다.
탐색 기반 방법과의 비교: VISTA는 탐색 기반 테스트 타임 방법인 TTS-VAR보다 크게 앞섰습니다. TTS-VAR는 점수를 약 7% 개선한 반면, VISTA는 약 20%를 개선했습니다. 저자들은 탐색 방법이 백본의 만족스러운 궤적 샘플링 능력에 갇혀 있는 반면, 그래디언트 기반 스티어링은 궤적을 능동적으로 이동시킨다고 언급했습니다.
이미지 품질: VISTA가 최적화하지 않은 독립적 선호도 모델(ImageReward)은 VISTA의 출력이 베이스라인보다 거의 20% 더 높은 점수를 기록했습니다. 이는 구성적 이득이 이미지 품질을 희생하면서 얻어진 것이 아님을 나타냅니다.
비용: 이 방법은 추론 비용의 트레이드오프를 수반합니다. 세 개의 거친 스케일을 스티어링하면 생성 시간이 약 2초 증가합니다 (2B 모델 기준 약 3초에서 6초로). 하지만 이는 상당한 품질 이득을 제공합니다.

의의 및 주장

본 논문은 확산 모델을 위해 개발된 테스트 타임 정렬 패러다임이 특정 아키텍처에 국한되지 않는다는 점을 주장합니다. 확산 정렬의 구체적인 메커니즘이 VAR에 직접 전이되지는 않지만, 고정된 모델의 교차 주의 집중이 구성적 구조에 대한 미분 가능한 핸들을 제공한다는 핵심 전제는 상태 유지형, 다중 스케일, 이산 토큰 생성의 불안정성을 해결했을 때 유효하다는 것입니다.

VISTA는 VAR 모델의 구성적 이해도가 재학습이나 파라미터 증가 없이도 크게 향상될 수 있음을 입증합니다. VISTA를 적용한 2B 파라미터 모델이 구성적 작업에서 4배 더 큰 모델을 능가할 수 있다는 사실은, 현재 VAR의 스케일링 법칙이 구성성(compositionality) 측면에서 최적이 아닐 수 있으며, 테스트 타임 개입이 이 격차를 줄이는 유망한 경로임을 시사합니다. 저자들은 VISTA를 더 강력하고 제어 가능한 자기회귀 이미지 생성을 위한 기초적인 단계로 포지셔닝합니다.