[기술 요약] TIPO: 텍스트 사전 샘플링을 이용한 텍스트-이미지 프롬프트 최적화

1. 문제 정의 (Problem Statement)

최신 텍스트-이미지(T2I) 생성 모델(예: SDXL, SD3.5, FLUX 등)은 고품질 이미지를 생성하기 위해 매우 상세하고 구조화된 프롬프트를 필요로 합니다. 그러나 일반 사용자는 대개 단순하고 짧은 프롬프트를 입력하며, 이를 정교하게 다듬는 과정에서 다음과 같은 문제에 직면합니다.

• LLM의 불일치: GPT와 같은 일반적인 대규모 언어 모델(LLM)은 일상적인 자연어에 최적화되어 있어, T2I 모델이 학습한 구조화된 태그(Tag)나 특정 스타일의 프롬프트 분포와 차이가 발생합니다.
• 높은 비용 및 모델 종속성: 강화 학습(RL)을 이용한 최적화 방식은 특정 T2I 모델에 종속적이며, 반복적인 이미지 생성 과정이 필요해 계산 비용이 매우 높습니다.
• 사용자 전문성 부족: 사용자가 예술적 키워드나 상세한 묘사를 직접 작성하기 어렵습니다.

2. 핵심 방법론 (Methodology)

TIPO는 프롬프트 최적화를 **"대규모 멀티태스크 사전 학습(Multi-task Pre-training)"**의 영역으로 가져와, 사용자의 단순한 입력을 T2I 모델의 학습 데이터 분포와 일치하도록 확장하는 프레임워크를 제안합니다.

A. 데이터 준비 (Text Set Preparation)

T2I 모델의 학습 데이터 분포를 모방하기 위해 3,000만 쌍(400억 토큰) 규모의 정제된 코퍼스를 구축했습니다. 이 데이터는 크게 두 가지 형태를 포함합니다.

• Tag-based: 쉼표로 구분된 짧은 키워드 형태 (예: Danbooru 데이터셋).
• Natural Language (NL)-based: 문장 형태의 상세한 묘사.

B. 포맷팅된 프롬프트 구성 (Formatted Prompt Construction)

모든 입력을 통합된 형식으로 변환합니다. <Category>: <Content> 구조(예: style: Impressionist, quality: masterpiece)를 사용하여 메타데이터를 포함하며, 태그 기반과 자연어 기반 프롬프트를 모두 지원합니다.

C. 텍스트 사전 샘플링 (Text Pre-sampling)

TIPO의 핵심 기술로, 사용자의 입력을 단순히 다시 쓰는(Rewrite) 것이 아니라, 기존 의미를 보존하면서 구조화된 상세 정보를 덧붙이는(Expand) 방식입니다. 이를 위해 다음과 같은 멀티태스크를 수행합니다.

• Basic Tasks: tag to long (태그를 긴 문장으로), short to tag (짧은 문장을 태그로) 등.
• Composite Tasks: 여러 단계를 하나로 묶어 한 번의 추론(Forward pass)으로 복합적인 변환을 수행 (예: short to tag to long).

D. 모델 아키텍처

LLaMA 아키텍처를 기반으로 하며, 효율성을 위해 200M(2억 개) 파라미터 규모의 경량 모델을 사용합니다. 이는 매우 적은 계산 비용으로 실시간 프롬프트 확장이 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 분포 정렬(Distribution Alignment): T2I 모델의 학습 데이터 분포와 일치하는 프롬프트를 생성함으로써, 모델이 사용자의 의도를 더 잘 해석하고 학습된 사전 지식을 최대한 활용하게 합니다.
2. 효율적인 경량 모델: 거대한 LLM이나 비용이 많이 드는 RL 방식 대신, 200M 규모의 경량 모델을 통해 높은 성능과 빠른 속도를 동시에 달성했습니다.
3. 범용성(Universality): 특정 T2I 모델에 종속되지 않고, 다양한 모델(SDXL, SD3.5, FLUX, Gemini 등)에 적용 가능한 범용 프롬프트 최적화 도구를 제공합니다.

4. 실험 결과 (Results)

다양한 벤치마크와 인간 선호도 조사(Human Preference)를 통해 성능을 검증했습니다.

• 이미지 품질 및 정렬: FDD(Fidelity), Aesthetic Score(미적 점수), AI Corrupt Score(아티팩트 측정) 등 모든 지표에서 기존 방식(GPT-4o-mini, Promptist 등)보다 우수한 성능을 보였습니다.
• 인간 선호도: 221명의 자원봉사자가 참여한 1,400회 이상의 비교 실험에서 TIPO는 51.3%의 승률을 기록하며 가장 높은 선호도를 얻었습니다.
• 효율성: 기존 프롬프트 확장 방식 대비 최대 29.4%의 실행 시간 단축을 달성했습니다.
• OOD(Out-of-Domain) 성능: 학습 데이터와 다른 분포를 가진 최신 모델(FLUX.1, SD3.5 Large 등)에서도 일관되게 높은 품질과 다양성을 유지했습니다.

5. 의의 (Significance)

TIPO는 **"프롬프트 엔지니어링의 자동화 및 대중화"**를 실현할 수 있는 실용적인 솔루션을 제시합니다. 사용자가 전문적인 지식 없이도 단순한 단어만 입력하면, T2I 모델이 가장 잘 이해할 수 있는 최적의 언어로 변환해 줌으로써 생성 예술의 진입 장벽을 낮추고 생성 품질을 극대화합니다. 또한, 모델 크기 대비 압도적인 효율성을 보여줌으로써 실제 서비스 환경에 즉시 적용 가능한 기술적 토대를 마련했습니다.