기술 요약: 의미론적 블렌딩을 위한 텍스트 임베딩의 토큰 간 정렬 (Token-to-Token Alignment)

문제 정의

현대적인 텍스트-이미지 생성 모델은 텍스트 토큰 시퀀스를 사용하여 의미론적 컨디셔닝(semantic conditioning)을 정의한다. 이러한 방식은 표현력이 뛰어나지만, 토큰 시퀀스의 공간에는 일관되고 접근 가능한 구조가 결여되어 있다. 의미적으로 유사한 이미지들이 서로 다른 단어 선택, 순서, 개념 배치로 구성된 토큰 시퀀스에 대응할 수 있는 반면, 유사한 토큰 시퀀스가 서로 상이한 의미를 인코딩할 수도 있다. 이러한 구조적 불일치는 프롬프트 임베딩 간의 표준적인 선형 보간(linear interpolation)이 일관성 없고 얽힌 중간 상태를 생성하게 만든다. 결과적으로, 연속적인 이미지 편집, 의미론적 블렌딩, 개념 합성 등 부드러운 의미적 전이를 요구하는 애플리케이션들은, 단순한 속성의 혼합이 아닌 유의미한 의미적 궤적을 따르는 대신 무관한 속성들을 뒤섞어버리는 문제로 인해 어려움을 겪는다.

저자들은 이러한 한계가 임베딩 공간 내의 의미 구조가 부재하기 때문이 아니라, 표현 방식 간의 불일치에서 기인한다고 주장한다. 상응하는 개념들이 서로 다른 프롬프트 전반에 걸쳐 일관되게 표현되지 못함으로써, 생성 모델이 연속적인 의미 매니폴드(semantic manifold)를 가로지르는 것을 방해한다는 것이다.

방법론: 토큰 간 정렬 (Token-to-Token Alignment)

제안된 프레임워크인 토큰 간 정렬(T2T) alignment는 서로 다른 프롬프트 간의 토큰 사이에 명시적인 의미적 대응 관계를 구축한다. 이 방법은 비구조화된 프롬프트를 구조화된 표현으로 변환하여, 의미적으로 대응하는 개념들이 일관된 위치에 매핑되도록 함으로써 유의미한 선형 보간을 가능하게 한다. 과정은 두 가지 주요 단계와 그에 따른 보간으로 구성된다.

1. 개념 수준의 구조적 정렬 (Concept-Level Structural Alignment)

첫 번째 단계는 대규모 언어 모델(LLM)을 사용하여 입력 프롬프트($p_A, p_B$)를 공유된 구조적 표현으로 변환함으로써 언어적 가변성을 해결한다.

• 과정: LLM은 명시적인 구조적 제약 조건 하에서 정렬된 장면 묘사 쌍($J_A, J_B$)을 공동으로 구축하도록 지시받는다.
• 스키마: 묘사는 고정된 세트의 의미론적 필드(예: 객체, 속성, 조명)와 일관된 순서를 가진 JSON 문자열 형식으로 구성된다.
• 목표: 대응하는 요소들은 각 필드 내에서 정렬된 텍스트 구절을 사용하여 표현된다. 이는 텍스트 수준에서 거친(coarse) 대응 관계를 확립하며, 의미적 차이가 독립적인 재구성이 아닌 공유된 컨텍스트 내에서의 국소적 치환으로 포착되도록 보장한다.

2. 임베딩 수준의 정렬 (Embedding-Level Alignment)

두 번째 단계는 텍스트 인코더 공간의 불일치를 해결한다. 구조적 정렬만으로는 토큰화 차이(예: 의미적으로 유사한 단어에 대한 서로 다른 토큰 수) 때문에 토큰 단위의 대응을 보장할 수 없다.

• 유사도 계산: 두 정렬된 시퀀스의 토큰 임베딩 간의 쌍별 코사인 유사도 행렬 $S$를 계산한다.
• 제약 및 편향:
  • 필드 마스킹 (Field Masking): 장면 분해를 존중하기 위해 매칭은 대응하는 의미론적 필드 내의 토큰으로 제한된다.
  • 국소성 편향 (Locality Bias): 구조적 정렬 후 대응하는 토큰들이 유사한 상대적 위치에 나타날 것이라는 가정하에, 필드 내 상대적 토큰 위치에 가우시안 편향을 적용한다.
  • 온도 스케일링 (Temperature Scaling): 유사도 점수를 정교화하기 위해 온도 파라미터($\tau$)를 사용한다.
• 투영 (Projection): 온도 스케일링된 소프트맥스 정규화를 통해 소프트 정렬 행렬 $A$를 도출한다. 이 행렬은 소스 임베딩의 의미적 내용을 타겟 토큰 구조로 투영하여, 확립된 토큰 단위 대응 관계를 가진 동일한 길이의 정렬된 임베딩 시퀀스($E_A, E_B$)를 생성한다.

3. 정렬된 공간에서의 보간 (Interpolation in Aligned Space)

임베딩이 정렬되면, 대응하는 토큰 간에 단순 선형 보간이 수행된다:
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
이 보간된 임베딩은 생성 모델(예: Flux2 또는 FIBO)의 컨디셔닝으로 사용된다. 이미지 기반 작업(편집 및 블렌딩)의 경우, 모델은 입력 이미지(들)와 보간된 텍스트 임베딩 모두에 의해 컨디셔닝된다. 연속적인 블렌딩에서는 $\alpha$에 따라 어텐션 가중치를 조절(이차 스케일링 사용)하여 입력 이미지의 기여도를 조절함으로써, 중간 단계에서 의미적 진화를 허용하면서도 양 끝점에서의 충실도를 유지한다.

주요 기여

1. 토큰 간 정렬 프레임워크: 임의의 프롬프트 간 토큰 사이에 명시적인 의미적 대응을 강제하는 2단계(구조적 및 임베딩 수준) 방법론을 제시하여, 텍스트 임베딩 공간을 선형 보간 가능한 매니폴드로 변환한다.
2. 통합 제어 메커니즘: 기존의 표현을 조직화함으로써 생성 모델의 아키텍처를 수정하거나 새로운 제어 파라미터를 학습시키지 않고도 텍스트-이미지 모델의 의미론적 제어가 가능하다는 것을 입증하였다.
3. 애플리케이션 범용성: 본 프레임워크는 작업별 학습 없이도 연속적 합성(속성 변경), 연속적 편집(지침에 따른 이미지 수정), 연속적 블렌딩(두 이미지 간의 모핑)을 지원한다.

결과 및 평가

저자들은 정성적 및 정량적 지표를 통해 본 방법을 최신 베이스라인들과 비교 평가하였다.

• 정성적 성능:
  • 연속적 편집 (Continuous Editing): Kontinuous Kontext, SliderEdit, GRAG와 같은 방법들과 비교했을 때, T2T는 일관된 중간 상태를 가진 부드러운 전이를 생성한다. 베이스라인들은 종종 외형 기반 보간에 의존하거나 급격한 의미 변화를 초래한다.
  • 연속적 블렌딩 (Continuous Blending): DiffMorpher, FreeMorph, VibeSpace와 비교했을 때, T2T는 고스팅 아티팩트나 구조적 불연속성을 피한다. 픽셀/잠재 공간 방법들이 기하학적 변화에 어려움을 겪는 반면, T2T는 정렬된 텍스트 공간에서 보간함으로써 구조적 일관성을 유지한다.
• 정량적 성능:
  • 블렌딩 (Morph4Data & BlendBench): T2T는 경쟁력 있는 부드러움(PPL)을 달면서도 시각적 품질(MUSIQ)과 분포 정렬(FID) 측면에서 베이스라인을 크게 앞질렀다. VibeSpace보다 입력 이미지에 대한 준수도가 높았으며, 모핑 기반 방법들보다 아티팩트가 적었다.
  • 편집 (PIE-Bench): T2T는 강력한 의미론적 정렬(Norm CLIP-Dir)을 달성하였으며, 의도한 편집 방향에 대한 충실도와 부드러움 사이의 균형을 맞추며 베이스라인 대비 개선된 연속성을 보여주었다.
• 사용자 연구: 20명의 참가자가 참여한 쌍체 비교 실험에서, T2T는 편집 및 블렌딩 작업 모두에서 시각적 품질, 의미적 부드러움, 전반적인 선호도 측면에서 더 높은 승률을 기록했다.
• 절제 연구 (Ablation Studies): 실험을 통해 구조적 정렬과 임베딩 수준의 정렬이 상호 보완적임을 확인하였다. 직접적인 보간은 실패하였고, 텍스트 수준의 정렬만으로는 미세한 디테일이 부족했으며, 구조적 제약 없는 임베딩 정렬만으로는 불안정했다. 전체 방법론이 가장 일관된 결과를 산출하였다.

의의 및 주장

본 논문은 생성 모델에서 부드러운 의미적 전이를 수행하는 능력은 근본적으로 조작(manipulation)의 문제가 아니라 **표현(representation)**의 문제라고 상정한다. 텍스트 임베딩 공간은 이미 연속적인 의미 구조를 암묵적으로 인코딩하고 있지만, 표준적인 프롬프트 구성 하에서는 불일치로 인해 이 구조가 얽혀 있고 접근 불가능한 상태이다.

토큰 단위의 대응 관계를 강제함으로써, 저자들은 이 공간을 효과적으로 "선형화"하여, 보간을 신뢰할 수 없는 휴리스틱에서 원칙적인 연산으로 바꾼다고 주장한다. 이 관점에서 생성 모델은 정렬된 의미 공간에서 정의된 궤적을 렌더링하는 수동적인 렌더러 역할을 한다. 이 연구의 의의는 복잡한 의미 제어가 모델 수정, 미세 조정, 또는 명시적인 제어 파라미터의 도입 없이도 기존의 표현을 조직화함으로써 달성될 수 있음을 보여준 데 있다.

저자들은 초기 구조적 정렬의 품질에 의존한다는 점과 선형 보간이 매우 비선형적인 의미적 변환을 포착하지 못할 수 있다는 점을 언급하며 한계를 인정하였다. 향후 연구는 정렬의 견고함을 개선하고 비디오 생성과 같은 시간적 일관성이 중요한 환경으로 공식을 확장하는 데 집중될 수 있다고 제언하였다.