기술 요약: Giraffe – 효율적인 그래픽 디자인을 위한 매핑 아키텍처

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각적 이해 작업(예: VQA, 캡셔닝)에서 크게 발전했지만, 시각적 콘텐츠를 생성하는 능력에는 여 still 한계가 있습니다. 이 간극을 메우기 위한 기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉩니다:

1. 검색 기반(Retrieval-based): 텍스트 쿼리를 기존 이미지 라이브러리에 매핑하는 방식(예: FROMAGe)으로, 특정 스타일이나 피사체가 라이브러리에 없는 경우에는 작동하지 않습니다.
2. 생성 기반(Generation-based): 숨겨진 토큰 표현을 시각적 임베딩이나 원시 이미지 데이터로 변환하는 방식(예: GILL, Emu, Chameleon)입니다.

현재의 생성 기반 방법론에서 나타나는 결정적인 한계는 이미지의 표현 방식에 있습니다. 대부분의 접근 방식은 단일 이미지를 표현하기 위해 여러 개의 특화된 토큰(예: 16개에서 1024개)을 사용합니다. 그래픽 디자인 작업처럼 텍스트, 다수의 이미지, SVG 도형, 레이아웃 등 수천 개의 토큰이 매끄럽게 혼합되어야 하는 출력물에서는, 이러한 멀티 토큰 표현 방식이 시퀀스 길이를 급격히 증가시킵니다. 이는 다음과 같은 두 가지 주요 문제를 야기합니다:

• 용량 제약(Capacity Constraints): 시퀀스가 모델의 최대 토큰 용량에 근접하거나 이를 초과하게 됩니다.
• 어텐션 제한(Attention Limitations): 트랜스포머 아키텍처의 제한된 어텐션 범위는 이렇게 확장된 시퀀스 전반에 걸친 장거리 의존성을 포착하는 데 어려움을 겪으며, 결과적으로 일관성이 없거나 스타일이 불일한 디자인을 생성합니다.

또한, 이미지를 텍스트 설명으로 표현하는 방식(베이스라인)은 스타일, 색상 테마 및 의미론적 뉘형스를 정확하게 포착하지 못하여, 시각적 조화가 떨어지는 디자인을 만드는 한계가 있습니다.

방법론: Giraffe 아키텍처

본 논문은 언어 모델의 숨겨진 토큰 표현을 시각 모델(구체적으로 CLIP ViT-L/14)의 임베딩 공간으로 매핑하기 위해, 이미지당 단 하나의 [IMG] 토큰을 사용하는 새로운 아키텍처인 Giraffe를 제안합니다. 이 접근 방식은 언어 모델이 용량을 초과하거나 일관성을 잃지 않으면서도 긴 시퀀스 내에 텍스트와 이미지 토큰을 통합할 수 있게 합니다.

아키텍처 개요

Giraffe 아키텍처는 L자형 구조로 배치된 두 개의 얕은 다층 퍼셉트론(MLP) 블록으로 구성됩니다:

1. 메인 매핑 블록(Main Mapping Block): 언어 모델의 [IMG] 토큰으로부터의 숨겨진 표현을 정규화된 시각적 임베딩 공간으로 매핑하는 역할을 합니다.
2. 보조 블록(Assisting Block): 훈련 중에 메인 블록을 돕는 보조 블록이지만, 경량 솔루션을 보장하기 위해 추론 시에는 제외됩니다.

핵심 구성 요소:

• 압축 모듈(Compression Modules): 각 블록은 고유한 압축 모듈($f_{\theta1}$은 메인 블록용, $f''_{\theta2}$는 보조 블록용)을 가집니다.
• 공유 확장 모듈(Shared Expansion Module): 두 블록은 연결 고리 역할을 하는 공통의 확장 모듈($f'_{\theta s}$)을 공유합니다.
• 활성화 함수(Activation Functions): 두 모듈 전체에 SiLU가 사용되며, 확장 모듈의 마지막 레이어에는 Tanh가 사용됩니다.

훈련 목표

아키텍처는 정확한 매핑과 정렬을 보장하기 위해 여섯 가지 별도의 손실 함수를 사용하여 훈련됩니다:

1. 평균 제곱 오차(MSE) 손실 ($L_{b1-MSE}$): 예측된 정규화 임베딩과 실제값(ground truth) 사이의 오차를 최소화합니다.
2. 코사인 유사도 손실 ($L_{b1-COS}$): 투영 공간 내에서 예측된 임베딩과 실제 임베딩 간의 방향성 정렬을 촉진합니다.
3. 보조 블록 MSE ($L_{b2-MSE}$): 보조 블록이 실제값으로부터 정규화된 시각적 임베딩을 근사하도록 훈련합니다(오토인코더 역할).
4. 보조 블록 코사인 ($L_{b2-COS}$): 보조 블록의 방향성 정렬을 보장합니다.
5. InfoNCE 손실 ($L_{NCE1}, L_{NCE2}$): 양성 쌍과 음성 쌍을 대조함으로써 메인 블록의 변환 학습을 더욱 돕기 위해 두 MLP 블록의 병목 지점에 적용됩니다.
6. 교차 엔트로피 손실 ($L_{CE}$): 언어 모델을 위한 표준 차기 토큰 예측 손실입니다.

전체 손실은 이러한 구성 요소들의 가중치 합으로 계산됩니다.

추론 과정

추론 시에는 보조 블록($f''_{\theta2}$)이 제거됩니다. 과정은 다음과 같습니다:

1. 언어 모델이 [IMG] 토큰을 포함한 토큰 시퀀스를 생성합니다.
2. 각 [IMG] 토문의 숨겨진 표현이 메인 매핑 블록($f'_{\theta s} \circ f_{\theta1}$)을 통과하여 정규화된 시각적 임베딩을 생성합니다.
3. 이 임베딩은 역정규화(denormalized)되어 이미지를 생성하기 위해 사전 훈련된 이미지 생성 모델(FLUX와 CLIP ViT-L/14 IP 어댑터 결합)로 직접 전달됩니다.
4. 생성된 임베딩이 알려진 분포를 따르므로 디퓨전 모델의 미세 조정(fine-tuning)은 필요하지 않습니다.

주요 기여

• 단일 토큰 이미지 표현: 본 논문은 전체 이미지를 단 하나의 [IMG] 토큰으로 표현하는 방법을 도입하여, 멀티 토큰 접근 방식에 비해 시퀀스 길이를 크게 단축했습니다.
• 이중 블록 매핑 아키텍처: Giraffe 아키텍처는 메인 블록과 공유 확장 모듈을 가진 보조 블록을 활용합니다. 이 설계는 경량화된 추론 발자국을 유지하면서 복잡한 매핑 변환의 효과적인 학습을 용이하게 합니다.
• 엔드 투 엔드 그래픽 디자인 생성: 이 시스템은 텍스트, 레이아웃, 다수의 이미지를 포함하는 복잡한 그래픽 디자인을 하나의 일관된 시퀀스로 생성할 수 있게 하여, 기존의 검색 전용 또는 텍스트 설명 기반 생성 방식의 한계를 해결합니다.

실험 결과

모델은 두 가지 작업에 대해 180만 개의 전문적으로 제작된 그래픽 디자인으로 구성된 자체 데이터셋을 통해 평가되었습니다.

1. 텍스트-투-디자인(Text-to-Design) 생성

• 설정: 언어 모델로 Gemma3 4B를 사용했습니다. 이미지를 FLUX에 전달되는 텍스트 설명으로 표현하는 베이스라인과 비교했습니다.
• 정량적 결과: 제안된 방법은 FID 점수 66.85를 달0하여, 베이스라인의 81.61보다 현저히 낮아(우수하여) 더 높은 품질과 다양성을 입증했습니다.
• 정성적 결과: 제안된 방법은 더 높은 레이아웃 다양성, 강력한 스타일 일관성, 더 나은 색상 조화를 보여주었습니다. 베로라인은 변동성이 적고 분절된 이미지를 생성하는 경우가 많았던 반 반면, Giraffe는 서로 보완적인 다수의 이미지를 성공적으로 통합했습니다.

2. 이미지-투-디자인(Image-to-Design) 생성

• 설정: 언어 모델을 커스로 인코더-디코더 트랜스포머로 교체했습니다. 작업은 참조 이미지를 기반으로 디자인 시퀀스를 생성하는 것입니다.
• 정량적 결과: 입력 이미지와 생성된 디자인 사이의 CLIP 코사인 유사도가 0.85 ± 0.05로 나타나, 소스 자료에 대한 강력한 준수 능력을 입증했습니다.
• 정성적 결과: 모델은 이미지당 단 하나의 [IMG] 토큰을 사용하여 입력 이미지로부터 의미적, 스타일적, 색상 정보를 성공적으로 포착하였으며, 참조 모델과 매우 유사한 출력을 생성했습니다.

의의 및 주장

본 논문은 Giraffe가 현재 MLLM의 토큰 길이 및 어텐션 범위의 한계를 극복함으로써 복잡한 멀티모달 그래픽 디자인 생성 문제를 효과적으로 해결한다고 주장합니다. 이미지를 단일 토큰으로 압축함으로써 아키텍처는 다음을 가능하게 합니다:

• 더 긴 시퀀스: 용량 제한에 걸리지 않고 다수의 이미지와 방대한 텍스트가 포함된 디자인을 처리할 수 있습니다.
• 향상된 일관성: 이미지를 텍스트로만 표현하거나 파편화된 토큰으로 표현할 때 손실되기 쉬운 스타일, 색상 및 테마 정보를 보존합니다.
• 효율성: 이미지 생성 백본의 미세 조정을 요구하지 않으면서도 사전 훈련된 시각 모델을 활용하는 경량 추론 솔루션입니다.

저자는 단일 토큰 접근 방식이 생성된 그래픽 디자인의 다양성과 복잡성을 높이는 데 핵심적이며, 이를 통해 언어 모델이 이전에는 달성하기 어려웠던 시각적으로 일관되고 스타일이 통일된 출력을 생성할 수 있게 한다고 결론짓습니다.