💻 computer science

Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm

본 논문은 텍스트 프롬프트 대신 시각적 명세 페이지에 기존 비전-언어 모델을 조건부로 적용하여 시각-대-시각 생성을 가능하게 하는 학습이 불필요한 프레임워크인 V2V-Zero 를 소개하며, 이 통합 패러다임이 경쟁력 있는 성능을 달성하면서도 이미지 및 비디오 모델 간의 콘텐츠 생성과 구조적 제어에 대한 현재의 한계를 드러낸다는 것을 보여줍니다.

원저자: Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm"라는 논문에 대한 설명을 간단한 언어와 창의적인 비유를 사용하여 제시합니다.

핵심 아이디어: 설명을 멈추고 보여주기

건축가가 건설자에게 무엇을 지을지 말하려는 상황을 상상해 보세요.

옛 방식 (텍스트-to-이미지): 당신은 집을 묘사하는 길고 상세한 편지를 씁니다. "왼쪽에 창문이 세 개 있고, 빨간 문이 있으며, 고양이 모양 굴뚝이 있는 파란색 집이어야 합니다"라고 말합니다. 건설자 (AI) 는 당신의 글을 읽고, '파란색'이 어떻게 생겼는지 추측하며, '고양이 모양 굴뚝'을 상상하고, 레이아웃을 올바르게 잡기를 바랍니다. 종종 단어는 모호하기 때문에 그들이 잘못 이해하는 경우가 많습니다.
새로운 방식 (비주얼-to-비주얼 / V2V): 편지 대신 건설자에게 청사진을 건넵니다. 이 청사진은 완성된 집을 복사할 사진이 아니라 명세서입니다. 파란색 페인트 샘플, 고양이 굴뚝 스케치, 창문이 정확히 어디에 위치하는지 보여주는 다이어그램, 그리고 빨간 문 사진이 포함되어 있습니다. 건설자는 이 시트를 보고 정확히 표시된 대로 집을 짓습니다.

이 논문은 텍스트 프롬프트 대신 AI 생성기에 이러한 "청사진"(비주얼 페이지) 을 제공할 수 있게 해주는 V2V-Zero라는 방법을 소개합니다.

작동 원리: "마법 번역기"

연구자들은 처음부터 새로운 AI 를 구축하지 않았습니다. 대신 기존 기술을 활용한 교묘한 단계를 찾았습니다.

이중 단계 프로세스:
- 그림을 보고 그 의미를 이해하는 데 뛰어난 번역기(비전 - 언어 모델, VLM) 가 있다고 상상해 보세요.
- 이미지를 만드는 데 뛰어나지만 보통 번역가의 말한 단어만 듣는 건설자(확산 모델) 가 있다고 상상해 보세요.
- 트릭: 연구자들은 번역기가 그림을 건설자가 이해하는 비밀 "코드"(잠재 상태) 로 변환한다는 사실을 깨달았습니다. 보통 번역기는 텍스트만 이 코드로 변환합니다.
- 혁신: 그들은 단순히 번역기에게 "이 텍스트 프롬프트 대신 이 비주얼 청사진 페이지를 봐. 건설자에게 이 그림에서 만든 코드를 줘"라고 말했습니다.
- 결과: 건설자는 청사진의 "코드"를 받아 비주얼 지시를 기반으로 이미지를 생성하며, 재학습이 필요하지 않습니다. 건설자의 귀를 바꾸지 않고 건설자가 듣는 언어만 바꾸는 것과 같습니다.

"제로샷"의 초능력

이 논문은 이를 "제로샷 (Zero-Shot)" 그리고 **"학습 무료 (Training-Free)"**라고 부릅니다.
요리사에게 새로운 레시피 카드를 주는 것과 같습니다. 보통 요리사에게 새로운 스타일을 가르치려면 요리학교 (학습) 에 보내야 합니다. 여기서는 연구자들이 요리사에게 단어 대신 그림이 있는 새로운 카드를 건넸을 뿐입니다. 요리사는 이미 재료 (비주얼 코드) 를 읽는 법을 알고 있었을 뿐, 다른 형식으로 재료를 보여줄 필요가 있었습니다. 요리사는 학교에 갈 필요가 없었고, 새로운 메뉴판만 필요했습니다.

그들이 테스트한 것 ("Simple-V2V Bench")

이것이 실제로 작동하는지 확인하기 위해 그들은 Simple-V2V Bench라는 테스트를 만들었습니다. 이는 자동차 운전 테스트와 같지만, AI 가 차를 운전하는 대신 비주얼 지시를 따라야 합니다.

그들은 일곱 가지 유형의 "청사진"을 테스트했습니다:

인라인 색상: 지시 사항 안에 있는 작은 파란색 정사각형.
비주얼 참조: 복사할 특정 개 사진.
비주얼 텍스트: 특정 폰트로 쓰인 단어를 재현.
카운팅: 정확히 3 개의 사과를 보여주는 그림.
스타일: 스타일을 복사할 그림.
포즈: 사람의 포즈를 보여주는 스키레톤 그림.
스케치: 실제 이미지로 변환할 거친 그림.

결과: "3 단계" 현실

결과는 "와!"와 "아직은 아니야"의 혼합이었습니다. 그들은 명확한 난이도 계층을 발견했습니다:

쉬운 것 (강함): AI 는 속성 바인딩에 매우 뛰어났습니다. 파란색 정사각형을 보여주면 파란색 물체를 만들었습니다. 특정 개 사진을 보여주면 그 개를 만들었습니다. 텍스트 스타일도 잘 복사했습니다.
- 비유: 건설자는 당신이 샘플로 보여준 정확한 색으로 벽을 칠하는 데 매우 능숙합니다.
어려운 것 (불안정함): 복잡한 비주얼 단서를 기반으로 특정 콘텐츠를 생성하라고 요청하면 어려움을 겪었습니다.
- 비유: 건설자는 때때로 창문 개수를 잘못 칠하거나 문을 지붕에 놓습니다.
가장 어려운 것 (어려움): 구조적 제어(포즈 스케치나 레이아웃 다이어그램 따르기) 는 가장 약한 고리였습니다. GPT Image 2 와 같은 최고의 상용 시스템조차 막대인형 그림을 완벽하게 따르는 데 어려움을 겪었습니다.
- 비유: 건설자는 종종 평면도를 무시하고 색상은 정확하지만 집이 거꾸로 지어집니다.

비디오 확장

그들은 또한 비디오 생성기 (HunyuanVideo) 에 이것을 시도했습니다. 그들은 비주얼 청사진을 건네고 비디오를 요청했습니다. 작동했지만 결과는 이미지보다 더 낮았습니다.

비유: 청사진을 기반으로 움직이는 집을 짓도록 건설자에게 요청하는 것은 정적인 집을 짓는 것보다 더 어렵습니다. 건설자는 색상은 맞췄지만 움직임을 망쳤습니다.

"비밀 소스" 발견

연구자들은 왜 이것이 작동하는지 보기 위해 속을 들여다보았습니다. 그들은 AI 가 실제로 그림을 생각하고 머릿속에서 문장으로 변환하지 않았다는 사실을 발견했습니다.

발견: 95% 의 경우 AI 는 청사진의 비주얼 코드를 직접 보고 있었습니다. 설명을 쓰기 위해 그림을 무시하는 것이 아니라 그림의 "DNA"를 직접 읽고 있었습니다.
비유: 이는 건설자가 집을 묘사하는 편지를 읽는 것이 아니라, 청사진의 배선도를 보고 전선을 직접 따라가는 것과 같습니다.

요약

이 논문은 AI 와 대화하는 새로운 방식을 제안합니다: 말하지 말고 보여주기.

무엇인가: 텍스트 대신 색상, 스케치, 사진이 포함된 비주얼 페이지 (청사진) 를 지시 사항으로 사용하는 방법.
어떻게 작동하는가: 모델을 재학습시킬 필요 없이 텍스트 입력을 비주얼 입력으로 교체하는 교묘한 방식으로 기존 AI 도구를 활용합니다.
무엇을 할 수 있는가: 색상, 스타일, 특정 객체를 복사하는 데 탁월합니다.
아직 무엇을 할 수 없는가: 복잡한 레이아웃, 정확한 개수, 상세한 포즈 스케치 따르기에는 여전히 어려움을 겪습니다.

이 논문은 우리가 현재 "텍스트 우선" 세상에 살고 있지만, 기술은 이미 "비주얼 우선" 지시를 이해할 준비가 되어 있으며, 단락 대신 그림으로 설계하는 미래를 열어준다고 결론지었습니다.

기술 요약: 텍스트 프롬프트를 넘어선 시각적-시각적 생성의 통합 패러다임

문제 제기

현재의 시각적 생성 시스템은 주로 "텍스트 우선" 인터페이스에 의존하며, 사용자는 공간 배치, 정확한 색상 스왑, 타이포그래피, 구조적 스케치와 같은 복잡한 시각적 의도를 자연어 프롬프트로 직렬화해야 합니다. 저자들은 이러한 패러다임이 병목 현상을 초래한다고 주장합니다. 자연어는 정밀한 글리프 형태, 정확한 공간 관계, 특정 색상 바인딩과 같은 중요한 시각적 신호를 압축하는데, 이러한 신호들은 시각적 산물로 더 자연스럽고 직접적으로 표현될 수 있기 때문입니다. 현대의 텍스트-이미지 (T2I) 및 텍스트-비디오 (T2V) 모델이 급속히 발전했음에도 불구하고, 시각적 의도에서 텍스트 토큰으로의 번역 과정에서 이러한 제약 조건이 손실될 경우 의도된 시각적 제약을 재구성하는 데 어려움을 겪는 경우가 많습니다.

방법론: V2V-Zero

본 논문은 사용자가 텍스트 프롬프트 대신 구조화된 시각적 사양 페이지 (visual specification page) 를 사용하여 생성 모델을 조건화하는 시각적-시각적 (V2V) 생성 패러다임을 제안합니다. 이 페이지는 편집되거나 재구성되어야 할 이미지가 아니라, 렌더링된 텍스트, 스케치, 색상 칩, 참조 이미지, 공간 다이어그램을 포함하는 조건화 문서로 작용합니다.

재학습 없이 이를 실현하기 위해 저자들은 기존 비전 - 언어 모델 (VLM) 과 확산 생성기를 활용하는 학습 없는 프레임워크인 V2V-Zero를 도입했습니다. 핵심적인 구조적 통찰은 현대의 T2I/T2V 시스템 (예: Qwen-Image) 이 이미 텍스트와 이미지를 공유된 숨은 상태 공간으로 매핑하여 확산 트랜스포머 (DiT) 가 소비하도록 하는 VLM 조건화 인코더를 활용하고 있다는 점입니다.

주요 기술 구성 요소:

동결된 아키텍처: V2V-Zero 는 동결된 가중치에서 작동합니다. 어댑터를 학습하거나 생성기를 미세 조정하지 않습니다.
시각적 페이지 인코딩: 사용자가 제공한 시각적 페이지 $V$ 는 동결된 VLM(예: Qwen2.5-VL) 에 의해 처리됩니다. VLM 은 해당 페이지를 입력 시퀀스로 처리하며, 중간 추론 토큰을 생성할 수 있습니다.
숨은 상태 주입: 텍스트 임베딩을 생성기에 공급하는 대신, V2V-Zero 는 VLM 의 최종 레이어 숨은 상태를 추출하여 생성기의 조건화 인터페이스에 직접 주입합니다.
조건화 모드:
- Image-HS-only: 페이지의 시각적 토큰 상태만 주입합니다.
- FULL-FINAL (기본값): 시각적 토큰 상태와 VLM 이 생성한 추론 토큰의 최종 레이어 숨은 상태 모두를 주입합니다. 이 모드는 시각적 증거를 보존하면서 페이지를 생성 준비가 된 장면 해석과 정렬시킵니다.
메커니즘: 이 프레임워크는 DiT 의 교차 주의 메커니즘이 이미 VLM 숨은 상태에 주의를 기울이도록 학습되었다는 관찰에 의존합니다. 텍스트 프롬프트를 시각적 페이지 숨은 상태로 대체함으로써, 생성기는 구조적 변경 없이 동일한 조건화 공간에 접근할 수 있습니다.

주요 기여

V2V 패러다임 공식화: 본 논문은 구조화된 시각적 입력이 이미지 편집이나 작업별 제어 모듈과 구별되는 주요 조건화 신호로 작용하는 통합 생성 패러다임으로서 V2V 를 정의합니다.
V2V-Zero 프레임워크: 기존 VLM 조건화 생성기를 통해 시각적 페이지 숨은 상태를 라우팅함으로써 경쟁력 있는 성능을 달성하는 제로샷 학습 없는 방법입니다.
Simple-V2V Bench: 시각적 텍스트, 인라인 색상, 인라인 시각적 참조, 카운팅, 스타일 전이, 포즈 제어, 스케치 참조 등 7 가지 시각적 조건화 작업으로 구성된 새로운 벤치마크로, GPT Image 2, Seedream 5.0 Lite 와 같은 상용 시스템을 포함한 7 개의 모델에서 평가되었습니다.
메커니즘 분석: "추론 경로 (FULL-FINAL)"에서 DiT 가 생성된 추론 토큰이 아닌 시각적 접두사 숨은 상태에 조건화 토큰 주의 질량의 95.0% 를 할당한다는 실증적 증거를 제시하여, 시스템이 텍스트 재인코딩이 아닌 직접적인 시각적 조건화에 의존함을 확인했습니다.

실험 결과

GenEval 벤치마크:

V2V-Zero 는 동결된 Qwen-Image 백본을 사용하여 GenEval 에서 0.85의 전체 점수를 달성했습니다.
이 성능은 미세 조정 없이 백본의 최적화된 텍스트-이미지 (T2I) 성능 (0.87) 과 거의 일치하며, 시각적 조건화가 구성 작업에서 텍스트 프롬프트를 효과적으로 대체할 수 있음을 보여줍니다.

Simple-V2V Bench:

V2V-Zero 는 전체적으로 32.7/100점을 기록했습니다.
역량 계층 구조: 벤치마크는 3 단계 구조를 드러냅니다:
1. 속성 바인딩: 강력한 성능 (예: 인라인 색상에서 76.9/100) 으로 상용 기준선에 근접합니다.
2. 콘텐츠 생성: 복잡한 의미론적 생성에 있어 신뢰할 수 없는 성능을 보입니다.
3. 구조적 제어: 최첨단 상용 시스템조차 포즈 제어 (13.3/100) 와 스케치 참조 (16.6/100) 에서 상당한 어려움을 겪습니다.
비디오 확장: 동일한 V2V-Zero 방법을 HunyuanVideo-1.5에 적용하면 20.2/100점을 얻어, 프레임워크가 T2V 생성으로 이전 가능함을 보여주지만 이미지 생성보다 성능은 낮습니다.

중요성과 주장

본 논문은 V2V-Zero 가 VLM 조건화 생성기에 이미 존재하는 잠재적 시각적-시각적 경로를 식별했다고 주장합니다. 그 중요성은 다음과 같은 점을 입증하는 데 있습니다:

제로샷 실행 가능성: 기존 모델은 재학습 없이 시각적 사양 페이지를 직접적인 조건화 입력으로 받아들일 수 있으며, 이는 텍스트 전용 인터페이스의 필요성에 도전합니다.
아키텍처 정렬: 결과는 이러한 모델의 "추론 경로"가 주로 시각적으로 라우팅됨을 시사합니다. 생성기는 VLM 이 페이지를 텍스트적 근거로 변환하는 것에 의존하기보다 페이지의 시각적 표현에 주의를 기울입니다.
미래 방향: 이 연구는 시각적 사양이 "1 급 조건화 언어"로 취급되어야 한다고 제시합니다. 현재 제로샷 방법이 유망한 결과를 보이지만, 시각적 입력을 주요 조건화 신호로 처리하도록 엔드 - 투 - 엔드 방식으로 학습된 네이티브 생성기가 구조적 제어와 정밀한 시각적 지시 추종 개선을 위한 자연스러운 다음 단계라고 제안합니다.

저자들은 현재의 한계에 대해 겸손한 태도를 유지하며, 속성 바인딩은 강력하지만 포즈나 스케치와 같은 구조적 제어는 상용 시스템조차 어려운 영역이며, 비디오 확장은 포괄적인 비디오 벤치마크가 아닌 예비 검증임을 인정합니다.