💻 computer science

TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models

이 논문은 참조 문맥 마스킹(Reference Contextual Masking)과 승자 독식(Winner-Takes-All) 모듈을 통해 MM-DiT 구조 내의 암시적 문맥 학습을 활용함으로써 텍스트-및-이미지-투-이미지 생성을 향상시키는 훈련이 필요 없는 방법인 TF-TI2I를 소개하며, 동시에 평가 격차를 해결하기 위한 FG-TI2I 벤치를 제안한다.

원저자: Teng-Fang Hsiao, Bo-Kai Ruan, Yi-Lun Wu, Tzu-Ling Lin, Hong-Han Shuai

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Teng-Fang Hsiao, Bo-Kai Ruan, Yi-Lun Wu, Tzu-Ling Lin, Hong-Han Shuai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 재능 있는 예술가가 있다고 상상해 보세요. 이 예술가는 글로 된 설명을 바탕으로 그림을 그리는 데 전문가입니다. 만약 당신이 "고양이를 그려줘"라고 말하면, 그들은 그것을 해낼 수 있습니다. 하지만 만약 당신이 "구름처럼 폭신폭신하고, 액체 금으로 만들어졌으며, 탱고를 추고 있고, 폭풍우 치는 숲속에 서 있는 고양이를 그려줘"라고 말한다면, 예술가는 혼란에 빠질지도 모릅니다. 그들은 금과 숲을 뒤섞어 버리거나, 춤추는 동작을 잊어버리거나, 혹은 그냥 평범한 고양이를 그려줄 수도 있습니다.

이 논문은 이 예술가에게 대화하는 새로운 방법인 TF-TI2I를 소개합니다. 이것은 "훈련이 필요 없는(Training-Free)" 방식입니다. 즉, 예술가에게 새로운 기술을 가르치거나 새로운 사진 수천 장을 보여주며 학습시킬 필요가 없다는 뜻입니다. 대신, 우리는 그들에게 지시를 내리는 방식을 바꿀 뿐입니다.

작동 원리는 다음과 같습니다. 이해를 돕기 위해 쉬운 비유를 사용하겠습니다.

1. 비밀스러운 초능력: "속삭이는 텍스트"

대부분의 AI 아트 모델은 텍스트 지시어(예: "고양이")와 이미지 참조(예: 구름 사진)를 별개의 것으로 취급합니다. 텍스트가 주인이고, 이미지는 그저 힌트일 뿐입니다.

저자들은 현대적인 AI 모델(특히 MM-DiT라고 불리는 것들)에서 텍스트 지시어가 비밀스러운 초능력을 가지고 있다는 것을 발견했습니다. 바로 텍록이 시각적 세부 사항을 서로에게 "속삭일" 수 있다는 점입니다. AI가 텍스트를 처리할 때, 명시적으로 학습되지 않았음에도 불구하고 당신이 보여주는 이미지로부터 시각적 정보를 자연스럽게 흡수합니다.

이것은 마치 번역가가 문장을 번역하는 동안, 의도치 않게 대화 상대방의 억양과 속어를 습득하는 것과 같습니다. 텍스트 토큰(단어)들이 이미지의 "풍미"를 실어 나르기 시작하는 것입니다.

2. 문제점: "복잡한 방" 효과

참조 이미지 하나를 줄 때는 쉽습니다. 하지만 네 개(구름 질감, 금 소재, 춤 동작, 숲 배경)를 준다면 상황은 엉망이 됩니다.

뒤섞임: AI가 고양이를 금과 폭풍우 치는 숲을 섞어서 만들려고 시도하여, 진흙탕처럼 뭉개진 결과물을 만들 수 있습니다.
혼란: AI가 너무 많은 시각적 데이터에 압도되어, 어떤 부분이 어떤 지시어에 해당하는지 잊어버릴 수 있습니다.

3. 해결책: 두 가지 새로운 도구

이를 해결하기 위해 저자들은 과정에 두 가지 영리한 도구를 추가했습니다.

A. 참조 컨텍스트 마스킹 (RCM) – "스포트라이트"

예술가가 네 개의 서로 다른 참조 사진 더미를 보고 있다고 상상해 보세요. 도움 없이 혼자 둔다면, 그들은 한꺼번에 모든 것을 보려고 하다가 혼란에 빠질 것입니다.
RCM은 스포트라이트 역할을 합니다. 현재의 지시어와 일치하는 참조 사진의 특정 부분에만 빛을 비춥니다.

만약 지시어가 "배경을 만들어라"라면, 스포트라이트는 참조 사진의 배경에만 빛을 비추고 물체나 질감은 무시합니다.
이를 통해 AI가 '별이 빛나는 밤'을 그려야 할 때 실수로 다른 사진에서 '공룡'을 가져오는 일을 방지합니다.

B. 승자 독식 (WTA) – "팀 캡틴"

스포트라이트가 있어도, 때때로 AI는 특정 아주 작은 디테일에 대해 어떤 참조가 가장 중요한지 헷나곤 합니다.
WTA는 엄격한 팀 캡틴 역할을 합니다. AI가 작업 중인 모든 아주 작은 픽셀이나 디테일에 대해, 캡틴은 묻습니다. "지금 가장 관련 있는 참조는 무엇인가?"

만약 AI가 고양이의 털을 그리고 있다면, 캡틴은 말합니다. "숲과 춤은 무시하고, 오직 '폭신한 구름' 참조만 봐."
만약 AI가 배경을 그리고 있다면, 캡틴은 말합니다. "고양이는 무시하고, 오직 '별이 빛나는 밤' 참조만 봐."
이것은 AI가 한꺼번에 모든 것이 되려고 노력하다가 디테일이 뭉개지는 것을 방지하여, 세부 사항을 날카롭고 뚜렷하게 유지합니다.

4. 결과: "FG-TI2I 벤치"

이 방법이 효과가 있음을 증명하기 위해, 저자들은 단순히 간단한 작업으로 테스트하지 않았습니다. 그들은 FG-TI2I 벤치라는 새로운 테스트를 구축했습니다.

이것은 AI 예술가를 위한 매우 어려운 시험이라고 생각하면 됩니다.
단순히 "개를 그려줘"라고 묻는 대신, 이 시험은 "도마뱀의 피부를 가진 개가, 백플립을 하고 있는, 사탕 가게 안에 있는 모습을 그려줘"라고 묻습니다.
이 테스트는 AI가 여러 가지 서로 다른 재료(물체, 질감, 동작, 배경)를 섞이지 않고 동시에 다룰 수 있는지 확인합니다.

무엇을 발견했는가

더 나은 혼합: 그들의 방식(TF-TI2I)은 이전 방식들보다 여러 참조를 결합하는 데 훨씬 뛰어났습니다. 단순히 하나를 복사하는 것이 아니라, 하나의 이미지에서 질감을 가져오고, 다른 이미지에서 동작을, 또 다른 이미지에서 배경을 성공적으로 섞어냈습니다.
추가 훈련 불필요: 가장 좋은 점은 AI 모델을 다시 학습시킬 필요가 없었다는 것입니다. 그들은 단지 (스포트라이트와 팀 캡틴이라는) 직접 만든 도구들을 사용하여 기존 모델을 안내했을 뿐입니다.
높은 품질: 결과물은 높은 품질을 보여주었으며, 다른 "훈련이 필요 없는" 방식들보다 복잡한 지시를 훨씬 더 잘 따랐습니다.

요약하자면: 저자들은 집중을 돕는 "스포트라이트"와 매 순간 어떤 참조가 중요한지 결정하는 "캡틴"을 사용하는 것만으로, AI 예술가가 혼란 없이 한 번에 여러 시각적 지시를 듣게 만드는 방법을 찾아냈습니다. 그들은 AI가 여러 가지 시각적 아이디어를 동시에 다루어야 하는 까다로운 새 테스트를 통해 이것이 작동함을 증명했습니다.

기술 요약: TF-TI2I

문제 정의
텍스트 및 이미지-투-이미지(TI2I) 생성은 텍스트 지시문과 시각적 참조를 모두 사용하여 이미지를 합성하는 것을 목표로 합니다. 기존의 방법들은 단일 측면 제어(예: 스타일 전이, 객체 커스텀, 또는 인페인팅)에서는 발전된 모습을 보였으나, 여러 개의 복잡한 시각적 참조를 동시에 통합하는 작업에는 종종 어려움을 겪습니다. 현재의 접근 방식들은 계산 비용이 많이 드는 미세 조정(예: DreamBooth)에 의존하거나, 다중 이미지 입력을 처리할 때 생성 품질 및 지시 이행 능력이 저하되어 의도하지 않은 시각적 혼합이나 분포 변화(distribution shifts)를 초축하는 경우가 많습니다. 또한, 텍스트와 여러 이미지의 측면(객체, 질감, 동작, 배경)을 결합한 통합적인 TI2I 작업을 평가할 수 있는 포괄적인 벤치마크가 부족한 실정입니다.

방법론
저자들은 SD3 및 FLUX와 같은 모델에서 발견되는 아키텍처인 멀티모달 확산 트랜스포머(MM-DiT)의 내재된 능력을 활용하는 학습 불필요(training-free) 프레임워크인 TF-TI2I를 제안합니다. 이 방법은 MM-DiT 내의 텍스트 토큰이 추론 과정 중 교차 모달 어텐션(cross-modal attention)을 통해 비전 토큰으로부터 시각적 정보를 암시적으로 학습한다는 전제하에 작동합니다.

TF-TI2I의 핵심 구성 요소는 다음과 같습니다:

암시적 문맥 학습 및 문맥적 토큰 공유 (CTS):
저자들은 MM-DiT의 텍스트 토큰( $\tau_P$ )이 생성이 진행됨에 따라 비전 토큰( $\tau_I$ )으로부터 시각적 문맥을 집계한다는 점에 주목했습니다. TF-TI2I는 이를 활용하여 이러한 "문맥적 토큰(contextual tokens)"을 가교로 취급합니다. 여러 참조 이미지의 원시 비전 토큰을 직접 연결(concatenation)하는 대신(이는 높은 계산 오버헤드를 발생시킴), 이 방법은 참조 이미지로부터 유도된 문맥적 토큰을 메인 프롬프트 토큰과 연결합니다. 이를 통해 모델은 추가 학습 없이도 시각적 참조를 마치 텍스트 프롬프트의 일부인 것처럼 활용할 수 있게 되어, 다중 참조 조건화를 가능하게 합니다.
참조 문맥 마스킹 (RCM):
여러 참조 간의 상호 간섭(예: 배경 참조가 객체에 의도치 않게 영향을 주는 현상)을 해결하기 위해 RCM을 도입했습니다. 이 모듈은 텍s트 지시문과 참조 이미지 내의 특정 비전 토큰 사이의 의미적 연결을 분석합니다. 어텐션 점수를 계산하고 이진화 마스크(Otsu 알고리즘 사용)를 적용함으로써, RCM은 문맥적 토큰이 특정 지시문과 관련된 비전 토큰으로부터만 학습하도록 제한하여, 다른 참조로부터 오는 무관한 시각적 특징을 효과적으로 필터링합니다.
승자 독식 (WTA) 모듈:
사전 학습된 모델에 다중 참조를 주입할 때 발생하는 분포 변화를 완화하기 위해, WTA 모듈은 각 단계에서 각 비전 토큰을 가장 적절한 단 하나의 참조에만 배정합니다. 이 모듈은 타겟 비전 토큰과 모든 참조의 문맥적 토큰 사이의 어텐션 점수를 계산하여, 해당 토큰을 가이드할 "승자"(가장 높은 점수를 가진 참조)를 선택합니다. 이를 통해 모델이 여러 소스의 정보를 통합하면서도 각 참조의 구조적 무결성을 유지하고, 무분별한 혼합을 방지할 수 있도록 보장합니다.

주요 기여

암시적 문맥 학습의 발견: 본 논문은 MM-DT 아키텍처가 시각적 정보를 텍스트 토큰에 암시적으로 인코딩할 수 있는 능력을 식별하고 이를 활용함으로써, 학습이 필요 없는 TI2I 접근법을 제시했습니다.
TF-TI2I 프레임워크: CTS, RCM, WTA를 활용하여 추가 학습 없이 여러 이미지 참조(객체, 질감, 동작, 배경)를 텍스트 프롬프트와 통합하는 새로운 파이프라인을 제안했습니다.
FG-TI2I 벤치마크: TI2I 평가에 특화된 새로운 세밀한 벤치마크를 도입했습니다. 이 벤치마크는 프롬프트를 네 가지 구성 요소(객체, 질감, 동작, 배경)를 중심으로 구조화하며, 단일에서 쿼드(4개) 참조 서브 태스크를 지원하여 통합적인 TI2I 능력 평가의 공백을 메웁니다.

결과
저자들은 제안된 FG-TI2I 벤치마크와 더불어 DreamBench(커스텀화), Wild-TI2I(편집)와 같은 기존 벤치마크에서 TF-TI2I를 평가했습니다.

성능: TF-TI2I는 FG-TI2I 벤치마크의 18개 평가 지표 중 12개에서 최첨단(SOTA) 성능을 달성했습니다. 이는 Emu2, OmniGen, StyleAlign과 같은 베이스라인 모델들과 비교했을 때 우수한 프롬프트 준수 능력과 이미지 품질을 보여줍니다.
정성적 분석: 다중 참조 시나리오에서 TF-TI2I는 다른 방법들이 모든 요소를 보존하지 못하거나 특징이 혼합되어 실패하는 경우에도, 복잡한 지시(예: 특정 질감, 동작, 배경의 결합)를 성공적으로 수행합니다.
트레이드오프: 본 논문은 TF-TI2I가 지시 이행 및 고수준 의미론적 정렬에는 뛰어나지만, 저수준 디테일 보존(DINO 유사도) 측면에서는 학습 기반 또는 인버전 기반 방법보다 약간 낮은 성능을 보인다고 언급했습니다. 이는 이 방법이 참조를 직접적인 픽셀 단위 복사가 아닌 고수준 의미론으로 인코딩하는 데 집중하기 때문입니다.

의의
본 논문은 TF-TI2I가 대규모 모델의 재학습 비용 없이 TI2I 생성을 접근 가능하고 효과적으로 만드는 중요한 진전임을 주장합니다. MM-DT 모델이 멀티모달 통합을 위한 내재적 능력을 갖추고 있음을 입증함으로써, 본 연구는 기존 T2I 모델의 활용 범위를 다재다능한 TI2I 도구로 확장합니다. 또한, FG-TI2I 벤치마크의 도입은 세밀한 다중 참조 이미지 생성에 관한 향후 연구를 위한 표준화된 프레임워크를 제공합니다. 저자들은 정밀한 의미론적 분할 및 참조 간섭에 관한 과제가 남아있음에도 불구하고, 제안된 접근 방식이 복잡한 생성 작업에 대한 강력한 학습 불필요 솔루션을 제공한다고 결론짓습니다.