기술 요약: 문장 내 이미지 (Inset)

문제 제기

최근 멀티모달 언어 모델의 발전은 표현력이 풍부하고 여러 이미지를 포함하는 지시사항으로부터 이미지를 생성할 수 있게 했습니다. 그러나 기존 방법들은 여러 참조 이미지를 포함하는 복잡하고 교차된 지시사항 하에서 성능을 유지하는 데 어려움을 겪습니다. 이러한 한계는 두 가지 주요 요인에서 비롯됩니다:

1. 간접 참조 메커니즘: 현재 패러다임들은 일반적으로 이미지를 명시적인 인덱스를 통해 검색되는 외부 참조로 취급합니다 (예: "이미지 1 의 개"). 이는 모델이 추상적인 인덱스를 먼 시각적 특징과 정렬하기 위해 어려운 장거리 의존성을 연결하도록 강요하며, 종종 속성 바인딩 실패나 시퀀스 길이가 증가함에 따라 특정 이미지 입력을 무시하는 결과를 초래합니다.
2. 복잡한 데이터의 부족: 기존 교차 데이터셋은 규모와 복잡성이 제한적이며, 밀집된 시각적 맥락에서 정교한 구성 추론을 처리하는 방법을 모델에게 가르치는 데 필요한 풍부하고 긴 범위의 시퀀스가 부족합니다.

방법론: Inset

이러한 과제를 해결하기 위해 저자들은 **Images in Sentences (Inset)**를 제안합니다. 이는 시각적 정보가 텍스트 지시사항에 통합되는 방식을 근본적으로 재고찰하는 통합 생성 모델입니다.

1. 통합 교차 모델링

이미지를 검색이 필요한 외부 참조로 취급하는 대신, Inset 은 이미지를 텍스트 지시사항 내에서 네이티브 어휘로 직접 임베딩합니다.

• 네이티브 공식화: 시각적 특징은 문장 내 해당 의미적 슬롯에 직접 배치됩니다 (예: "A [Image1] 로봇이 [Image2] 꽃병을 들고 있다"). 이는 트랜스포머의 맥락적 국소성을 활용하여 텍스트 설명과 시각적 대상을 직접 바인딩함으로써, 텍스트와 먼 이미지 토큰 간의 장거리 의존성을 모델이 해결할 필요성을 제거합니다.
• 아키텍처: BAGEL 모델을 기반으로 구축된 Inset 은 Mixture-of-Transformer 아키텍처를 사용합니다. 핵심적으로, 입력에서 픽셀 수준의 VAE 잠재 특징을 제거하고 의미적 ViT 임베딩에만 의존합니다. 저자들은 VAE 잠재 특징을 포함하는 것이 모델을 의미적 통합보다는 "이미지 붙여넣기"(경직된 복사) 로 편향시킨다고 주장합니다.
• 추론 전략: 시각 모달리티가 생성 과정을 지배하는 것을 방지하기 위해 2 단계 안내 전략이 사용됩니다. 이는 텍스트 - 시각적 균형 조정 (텍스트 영향력 증대) 과 분류기 없는 안내를 적용하는 것을 포함합니다.

2. 확장 가능한 데이터 엔진

고품질의 교차 데이터 부족을 인식한 저자들은 표준 이미지 및 비디오 데이터셋으로부터 1,500 만 개의 고품질 샘플을 합성하기 위한 확장 가능한 데이터 엔진을 개발했습니다.

• 이미지에서: 파이프라인은 Vision-Language Models (VLM) 을 사용하여 글로벌 캡션을 생성하고, Segment Anything Model (SAM) 과 Describe Anything Model (DAM) 을 통해 세분화된 객체 인스턴스 (마스크 및 캡션) 를 추출합니다. 그런 다음 LLM 은 이러한 요소들을 시각적 임베딩이 의미적 위치에 명시적으로 배치된 자연스러운 텍스트 시퀀스로 합성합니다.
• 비디오에서: 동적 상태 조작을 가르치기 위해 엔진은 비디오 코퍼스를 처리합니다. VLM 을 사용하여 시간적 변동이 큰 프레임 쌍 간의 객체 대응 관계를 식별합니다. 의미 있는 의미적 변화 (동작, 자세, 형태) 를 보이는 쌍을 필터링한 후, 시각적 토큰이 소스 프레임에서 오고 생성 목표가 타겟 프레임의 변환된 상태가 되는 지시사항을 구성합니다.

3. InterleaveBench

저자들은 복잡한 다중 이미지 시나리오를 평가하도록 설계된 엄격한 벤치마크인 InterleaveBench를 소개합니다. 이는 논리적 공간 추론과 적응적 속성 수정을 요구하는 정교한 지시사항을 포함하는 다중 이미지 구성을 특징으로 합니다. 평가는 특정 속성과 관계를 대상으로 하는 VQA 기반 이진 질문을 통해 측정하는 듀얼 관점 LLM-as-Judge 프레임워크를 활용합니다:

• 이미지 일관성: 1~5 척도의 정체성 보존을 측정하며, 지시사항에 따른 변이는 허용하되 드리프트는 패널티를 부과합니다.
• 텍스트 일관성: 특정 속성과 관계를 대상으로 하는 VQA 기반 이진 질문을 통한 의미적 정렬을 측정합니다.

주요 결과

InterleaveBench 에 대한 실험은 Inset 이 최첨단 방법보다 크게 우월한 성능을 보임을 입증합니다:

• 성능 격차: Inset 은 오픈소스 모델 (예: DreamOmni2, FluxKontext, Qwen Image) 에 비해 이미지 및 텍스트 일관성 모두에서 우수한 성능을 달성합니다.
• 확장성: 입력 복잡도가 증가함에 따라 성능 우위가 확대됩니다. "Five Objects" 설정에서 Inset 은 이미지 일관성에서 오픈소스 베이스라인보다 0.29, 텍스트 일관성에서 0.24만큼 앞섭니다.
• 경쟁적 위치: 많은 경쟁사보다 적은 파라미터 (7B+7B) 를 가지고 있음에도 불구하고, Inset 은 이미지 일관성 측면에서 강력한 폐쇄형 모델 (예: GPT-4o, Seedream 4.0) 과 비교 가능한 성능을 달성합니다.
• Ablation 연구: VAE 특징 제거와 비디오 기반 데이터 활용은 각각 "이미지 붙여넣기"를 방지하고 동적 상태 조작을 가능하게 하는 데 중요한 구성 요소로 확인되었습니다.

중요성과 주장

이 논문은 시각적 콘텐츠를 밀집되고 표현력 있는 언어 토큰으로 취급하는 것이 더 직관적이고 통합된 멀티모달 시스템을 구축하기 위한 유망한 방향이라고 주장합니다. 이미지를 네이티브 어휘로 매끄럽게 임베딩함으로써 Inset 은 현재 패러다임에서 이미지와 텍스트의 구조적 분리를 극복합니다.

표준 생성을 넘어, 저자들은 이 교차 형식이 자연스럽게 멀티모달 이미지 편집으로 확장된다고 강조합니다. 이 모델은 지시사항의 일부로 시각적 콘텐츠를 통합하여, 텍스트와 특정 시각적 참조가 편집 과정을 안내하는 매우 표현력 있고 창의적인 시각적 조작을 용이하게 합니다. 이 연구는 정밀한 객체 바인딩은 간접적이고 인덱스 기반 참조에 의존하기보다 트랜스포머의 맥락적 국소성을 활용함으로써 가장 잘 달성된다고 시사합니다.