🤖 AI

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

이 논문은 통합 멀티모달 모델이 다회차 추론, 검증 및 정교화 과정을 통해 반복적인 테스트 타임 스케일링을 수행할 수 있게 하는 프레임워크인 UniT를 소개하며, 짧은 추론 궤적에 대한 학습이 더 긴 추론 체인으로 효과적으로 일반화되고 복잡한 시각적 이해 및 생성 작업을 크게 향상시킨다는 것을 입증한다.

원저자: Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "원샷(One-Shot)" 화가
현재 대부분의 AI 이미지 모델은 바로 이런 성급한 화가와 같습니다. 당신이 프롬프트(예: "나뭇가지에 앉아 있는 새와 배경에는 항구가 있는 그림을 그려줘")를 주면, 그들은 즉시 그림을 내놓습니다. 만약 새의 모양이 이상하거나 배경이 잘못되었다 하더라도, 그들은 수정하지 않습니다. 그저 결과물을 건네며 "다 됐습니다"라고 말할 뿐입니다. 단순한 작업에는 이 방식이 통할지 모르지만, 여러 단계나 구체적인 세부 사항이 포함된 복잡한 요청에는 결과물이 엉망이 되기 쉽습니다.

해결책: UniT ( "생각하는" 화가)
이 논문은 UniT라는 새로운 프로토콜을 통해, AI 모델이 결과물을 내놓기 전에 멈추고, 생각하고, 결과물을 다듬도록 가르칩니다. 단순히 한 번에 그리는 대신, UniT는 다음과 같이 행동하는 화가와 같습니다:

스케치를 통해 초기 아이디어를 잡습니다.
뒤로 물러나 자신의 작업을 비판적으로 살펴봅니다 ("잠깐, 새가 너무 작네").
문제를 분해합니다 ("먼저 새를 고치고, 그다음 배경을 고쳐야겠다").
이전 단계에서 했던 일을 기억하여 실수로 자신의 작업을 지워버리지 않도록 합니다.
그림이 완벽해질 때까지 이 과정을 반복합니다.

이 논문은 이를 **멀티모달 사고 사슬(Multimodal Chain-of-Thought)**이라고 부릅니다. 이는 AI가 이미지를 보면서 텍스트로 자기 자신과 대화하며, 수정을 계획하고, 그 수정을 적용하는 일종의 "사고 과정"을 부여하는 것과 같습니다.

학습 방법 ( "로봇 선생님" 공장)
AI에게 단순히 "더 열심히 생각해 봐"라고 말한다고 해서 더 잘 생각하게 할 수는 없습니다. 반드시 어떻게 하는지를 보여줘야 합니다. 연구진은 자동화된 공장(에이전트 파이프라인)을 구축하여 학습 데이터를 생성했습니다:

강력한 AI를 사용하여 프롬프트에 기반한 엉망인 이미지를 생성합니다.
시각-언어 모델(똑똑한 비평가)을 사용하여 이미지를 보고, 상세한 비평을 작성하며, 구체적인 수정 계획을 세웁니다.
편집 도구를 사용하여 실제로 이러한 수정 사항들을 적용합니다.
이미지가 완벽해질 때까지 이 루프를 반복합니다.

이 과정을 통해 "훌륭한 사고 방식"의 사례 수천 개가 만들어졌으며, 이를 통해 AI는 자신의 작업을 검증하고, 큰 과제를 작은 단계로 나누며(하위 목표 분해), 전체 프로젝트의 맥락을 기억하는 법(콘텐츠 메모리)을 배웠습니다. 그런 다음, 이 예시들을 바탕으로 메인 모델인 Bagel을 훈련시켰습니다.

결과: "생각하기"가 "추측하기"를 이기는 이유
이 논문은 더 나은 결과를 얻기 위해 추가적인 컴퓨터 자원을 사용하는 두 가지 방법을 비교합니다:

병렬 스케일링 ( "복권 뽑기" 방식): AI에게 동시에 10개의 서로 다른 그림을 생성하게 한 뒤 가장 좋은 것을 고르는 방식입니다. 이는 복권을 10장 사는 것과 같습니다. 운 좋게 하나가 당첨되기를 바랄 뿐, 실제로 똑똑해지는 것은 아닙니다.
순차적 스케일링 ( "UniT" 방식): AI에게 그림 하나를 생성하게 하고, 그것을 생각하고, 수정하고, 더 나은 버전을 만들게 하는 방식입니다. 이는 기술을 연마하는 것과 같습니다.

논문은 UniT의 압승을 주장합니다:

품질 향상: 복잡한 이미지 편집 및 추론 테스트에서 UniT는 기존의 "원샷" 모델은 물론 "복권 뽑기" 방식보다 훨씬 뛰어난 성능을 보였습니다.
효율성: UniT는 병렬 방식인 "복권 뽑기" 방식보다 2.5배 적은 컴퓨팅 파워를 사용하여 더 나은 결과를 얻었습니다. 무작위로 10개를 추측하는 것보다 하나의 좋은 아이디어를 다듬는 것이 더 효율적입니다.
일반화 능력: 비록 AI가 주로 짧은 사고 루프(약 3~~4단계)에 대해 학습되었음에도 불구하고, 추가 훈련 없이도 더 길고 복잡한 작업(4~~5단계 이상)에 자연스럽게 사고 과정을 확장할 수 있었습니다. 즉, 단순히 '무엇을' 생각하는 것이 아니라 '어떻게' 생각하는지를 배운 것입니다.

"인지적 행동" (비법 소스)
논문은 AI가 배운 세 가지 특정 습관을 강조하며, 이는 인간의 인지 기술과 같습니다:

검증 (Verification): 지시 사항에 따라 작업이 제대로 되었는지 확인합니다 ("책을 정말로 제거했는가?").
하위 목표 분해 (Subgoal Decomposition): 거대한 과제를 작고 관리 가능한 단계로 나눕니다 ("먼저 확대하고, 그다음 배경을 바꾸고, 그다음 빛을 밝게 조절한다").
콘텐츠 메모리 (Content Memory): 여러 번의 편집 과정 동안 전체 이야기를 추적하여, 최종 이미지가 무작위한 변화의 집합이 아닌 하나의 완성된 전체로서 의미를 갖도록 합니다.

요약
UniT는 단일 AI 모델을 스스로 교정하고 반복하는 예술가로 변모시키는 프레임워크입니다. 검증하고, 계획하고, 기억하는 법을 "사고 사슬"을 통해 가르침으로써, 이 모델은 단순하게 추측하고 요행을 바라는 모델보다 훨씬 더 복잡하고 다단계적인 시각적 과제를 잘 처리할 수 있습니다. 이는 AI에게 더 많은 생각할 시간(테스트 시간 스케일링)을 주는 것이 이미지를 생성하고 이해하는 데 있어 모델을 더 똑똑하게 만드는 강력한 방법임을 입증합니다.

기술 요약: UniT: 통합 멀티모달 연쇄 사고(Chain-of-Thought) 테스트 시간 스케일링

문제 정의

통합 멀티모달 모델은 단일 아키텍처 내에서 시각 및 언어 이해와 생성을 통합하는 것을 목표로 합니다. 그러나 현재의 통합 모델들은 명시적인 평가, 성찰 또는 반복적 개선 메커니즘 없이 출력을 한 번에 생성하는 단일 패스(single-pass) 모드로 작동하는 경우가 대부분입니다. 이러한 한계는 복잡한 공간 구성, 다중 객체 상호작용, 또는 진화하는 지시사항(예: 구성적 생성, 다회차 편집, 시각적 추론)과 같이 인간과 AI의 추론이 자연스럽게 확장된 다단계 프로세스의 이점을 얻어야 하는 작업에서 매우 치명적입니다.

텍스트 전용 언어 모델(예: o1, DeepSeek-R1)에서 반복적 추론을 통해 추론 단계 동안 추가 컴퓨팅 자원을 할당하는 **테스트 시간 스케일링(Test-Time Scaling, TTS)**은 성능을 크게 향상시켰지만, 이를 통합 멀티모달 모델로 확장하는 것은 여전히 미해결 과제로 남아 있습니다. 기존의 접근 방식은 종종 모듈형 파이프라인(생성, 검증, 편집을 위한 별도의 모델 사용)이나 병렬 샘플링(Best-of-N)에 의존하며, 이는 하나의 모델이 일관되고 인터리브(interleaved)된 방식으로 추론, 생성 및 개선을 수행함으로써 얻을 수 있는 시너지 효과를 활용하지 못합니다.

방법론: UniT 프레임워크

저자들은 멀티모달 연쇄 사고(CoT) 테스트 시간 스케일링을 가능하게 하는 프레임워크인 UniT를 소개합니다. UniT는 단일 통합 모델 내에서 인지적 행동(검증, 하위 목표 분해, 콘텐츠 메모리)을 유도하기 위해 세 가지 핵심 구성 요소를 통합합니다.

1. 에이전트 기반 데이터 합성

모델이 반복적 추론을 수행하도록 훈련하기 위해, 저자들은 12,000개의 고품질 다회차 추론 궤적을 합성하는 자동화된 파이프라인(그림 2)을 개발했습니다. 이 파이프라인은 세 가지 뚜렷한 모델 역할을 조정합니다:

이미지 생성: 이미지 생성 모델(Flux Pro)이 프롬프트로부터 초기 이미지를 생성합니다.
검증 및 계획: 시각-언어 모델(VLM, Qwen3-VL)이 프롬프트와 이미지를 대조하여 평가합니다. 만족스럽지 않을 경우, 결함을 식별하고, 복잡한 작업을 하위 목표로 분해하며, 편집 지시사항을 재작성하기 위해 명시적인 CoT 추론을 수행합니다.
개선(Refinement): 이미지 편집 모델(Flux Kontext 또는 Qwen-Image-Edit)이 생성된 지시사항을 적용합니다.
반복: VLM이 출력이 프롬프트를 충족하는지 확인할 때까지 이 루프는 계속됩니다.

유도된 인지 행동:

검증(Verification): 출력을 사양과 대조하여 개선 필요 여부를 판단합니다.
하위 목표 분해(Subgoal Decomposition): 복잡한 구성적 작업을 순차적인 편집 단계로 나눕니다.
콘텐츠 메모리(Content Memory): 통합 멀티모달 컨텍스트를 통해 여러 회차에 걸쳐 시각적 콘텐츠에 대한 이해를 유지합니다.

데이터 필터링: 파이프라인은 품질 저하, 의미론적으로 무관한 편집, 또는 미미한 시각적 변화(LPIPS < 0.03)가 있는 궤적을 제거하여 품질을 보장하기 위해 엄격한 필터를 적용합니다.

2. 통합 모델 훈련

저자들은 합성된 12K 궤적을 사용하여 이해와 생성이 모두 가능한 통합 멀티모달 아키텍처인 Bagel을 미세 조정합니다.

훈련 규모: 700 H100 GPU 시간.
목표: 모델이 모델을 교체하지 않고도 계획, 생성, 성찰 및 개선을 자율적으로 수행할 수 있도록 멀티모달 추론 패턴을 내재화하도록 학습합니다.
추론 메커니즘: 훈련된 모델은 중첩된 분류기 없는 가이드(Classifier-Free Guidance, CFG) 체계를 활용합니다. 현재 지시사항에 조건화된 텍스트 가이드를 적용한 다음, 초기 이미지와 이전 출력물을 포함한 전체 생성 이력에 조건화된 이미지 가이드를 적용합니다. 이를 통해 텍스트 지시사항과의 강력한 정렬을 보장하는 동시에 회차 간의 구조적 일관성을 유지합니다.

3. 예산 강제(Budget Forcing)를 통한 테스트 시간 스케일링

추론 시 UniT 모델은 자율적으로 작동합니다. 계산 예산( $C$ )은 이미지 생성 횟수로 정의됩니다.

순차적 스케일링: 모델은 이전 결과물을 바탕으로 $C$ 회차 동안 출력을 반복적으로 개선합니다.
예산 강제: 모델이 조기에 종료될 경우, 시스템은 종료 토큰(EOS)을 억제하고 "Let's edit" 프롬프트를 강제하여 추론을 계속합니다. 예산을 초 exceed할 경우, 마지막 $C$ 회차의 이미지만 유지합니다.
비교: 이 방식은 $N$ 개의 독립적인 이미지를 생성하고 최적의 것을 선택하는 **병렬 스로링(Parallel Scaling, Best-of-N)**과 대조됩니다.

주요 결과

1. 훈련 범위를 넘어서는 일반화

평균 3.6회의 개선 회차로 훈련된 모델이 테스트 시 평균 4.7회의 긴 추론 체인으로 성공적으로 일반화되었습니다. 이는 효과적인 테스트 시간 스케일링의 특징인, 훈련 분포를 넘어 추론 능력을 확장하는 창발적 능력을 입증합니다.

2. 순차적 vs. 병렬 스케일링

순차적 연쇄 사고 스케일링은 모든 벤치마크에서 Best-of-N 병렬 샘플링보다 일관되게 우수한 성능을 보였습니다:

효율성: 순차적 스케일링은 병렬 스케일링과 대등한 성능을 달성하면서도 2.5배 적은 계산 비용(더 적은 이미지 생성)을 소모합니다.
성능 향상: $C=10$ $C = 10$ 일 때, 순차적 스케일링은 병렬 스케일링 대비 상당한 개선을 보여줍니다:
- OneIG-Bench (구성적 생성): +4.85%
- CompBench (다중 객체 편집): +3.89%
- ImgEdit (다회차 편집): +71.77%
- MIRA (시각적 추론): +33.72%

3. 벤치마크 성능

기본 Bagel 모델(단일 패스) 및 Bagel+CoT(텍텍스트 전용 추론)와 비교했을 때, UniT는 상당한 이득을 달성했습니다:

구성적 생성 (OneIG-Bench): 정렬(alignment) 측에서 +10.34% 개선.
다중 객체 편집 (CompBench): +5.56% 개선.
다회차 편집 (ImgEdit): 인간 선호도 점수에서 +225.19% 개선 (C=1에서 C=4로 증가 시).
시각적 추론 (MIRA): 정확도 측에서 +53.33% 개선 (C=1에서 C=10으로 증가 시).

4. 절제 연구(Ablation Studies)

특정 인지 행동을 제거했을 때 각각의 역할을 확인할 수 있었습니다:

하위 목표 분해 부재 시: 구성적 작업에서 유의미한 하락 발생 (OneIG-Bench: -3.8%, CompBench: -2.5%).
콘텐츠 메모리 부재 시: 다회차 편집에 치명적인 영향 (ImgEdit: 상대적 하락 -42.5%), 반면 단일 회차 작업에는 최소한의 영향.
검증 부재 시: 시각적 추론에서 가장 큰 영향 (MIRA: -1.9%), 이는 추론 단계를 검증하는 역할의 중요성을 강조함.

의의 및 주장

본 논문은 멀티모달 테스트 시간 스케일링이 생성과 이해 작업 모두에 이익을 주는 통합된 패러다임임을 확립합니다. 저자들은 다음과 같이 주장합니다:

통합된 패러다임: UniT는 단일 통합 모델이 반복적 추론, 생성 및 개선을 효과적으로 처리할 수 있음을 보여주며, 전문화된 모델들로 역량을 분산시키는 모듈형 파이프라인의 필요성을 제거합니다.
창발적 능력: 더 짧은 추론 궤적으로 훈련함으로써 모델이 더 길고 복잡한 추론 체인으로 일반화할 수 있음을 보여주며, 이는 검증 및 분해와 같은 인지 행동이 학습 가능하고 확장 가능하다는 것을 시사합니다.
효율성: 반복적 개선을 통한 명시적 순차적 추론은 병렬 샘플링보다 TTS를 위한 더 효율적인 컴퓨팅 전략이며, 단위 추론 컴퓨팅당 더 우수한 성능을 제공합니다.
미래 모델의 토대: 현재 결과가 기본 모델의 능력(예: GPT-5와 같은 프런티어 모델과의 격차)에 의해 제한되어 있지만, 본 방법론은 TTS가 통합 멀티모달 시스템을 발전시키는 데 유효하고 효과적인 접근 방식임을 증명합니다. 기본 모델이 개선됨에 따라 UniT 프레임워크는 더 큰 이득을 가져올 것으로 기대됩니다.

결론적으로, 명시적인 멀티모달 연쇄 사고를 통한 반복적 개선은 복잡한 작업에서 상당한 성능 향상을 이끌어내며, 확장 가능한 멀티모달 추론을 위한 새로운 방향을 제시합니다.