Order Is Not Layout: Order-to-Space Bias in Image Generation

본 논문은 텍스트 내 개체 언급 순서가 이미지 생성 모델의 공간 배치에 과도하게 영향을 미치는 '순서 - 공간 편향 (OTS)' 현상을 규명하고, 이를 측정하는 벤치마크를 제안하며 데이터 기반의 원인을 분석하여 생성 품질을 유지하면서 편향을 완화하는 해결책을 제시합니다.

핵심

🎨 제목: "순서가 곧 위치는 아니다: AI 의 공간 착각"

1. AI 가 겪는 '가장자리 착각' (OTS)

우리가 AI 에게 "고양이와 개가 있어요"라고 말하면, AI 는 그림을 그릴 때 고양이를 왼쪽에, 개를 오른쪽에 그리는 경향이 매우 강합니다.

• 비유: 마치 식당에서 손님이 "김치찌개와 된장찌개를 주세요"라고 주문하면, 주방장이 김치찌개를 무조건 왼쪽 접시, 된장찌개를 오른쪽 접시에 담는 것과 같습니다.
• 문제점: AI 는 "왼쪽에는 고양이, 오른쪽에는 개"라고 명시적으로 말하지 않아도, 문장에서 먼저 언급된 것 = 왼쪽, 두 번째 언급된 것 = 오른쪽이라고 착각합니다. 이를 논문에서는 **'순서 - 공간 편향 (Order-to-Space Bias)'**이라고 부릅니다.

2. 왜 이게 문제일까요? (실수 사례)

이런 착각은 단순한 배치가 아니라, 사실과 다른 엉뚱한 그림을 만들어냅니다.

• 시계 예시: 시계에서 '3 시'는 오른쪽, '9 시'는 왼쪽에 있어야 합니다. 하지만 AI 에게 "9 시와 3 시"라고 말하면, AI 는 문장 순서대로 9 시를 왼쪽, 3 시를 오른쪽에 그려버립니다. 시계가 거꾸로 된 꼴이죠.
• 역할 뒤바뀜: "선생님이 학생을 가리키고 있다"라고 했을 때, AI 는 문장 순서대로 왼쪽에 있는 사람 (학생) 을 선생님으로, 오른쪽에 있는 사람 (선생님) 을 학생으로 착각해 행동을 부여합니다.

3. 왜 이런 일이 생길까요? (데이터의 습관)

연구진은 이 문제가 AI 의 머리가 나빠서가 아니라, 배운 데이터의 습관 때문이라고 밝혀냈습니다.

• 비유: 인터넷에 올라온 수억 장의 사진과 설명을 공부했는데, 대부분의 설명이 "왼쪽에 있는 A 와 오른쪽에 있는 B"라는 식으로 A 를 먼저 쓰고 B 를 나중에 썼기 때문입니다.
• AI 는 "아, 사람들이 무언가를 설명할 때 왼쪽부터 오른쪽으로 이야기하는구나!"라고 착각하고, 문장 순서 = 공간 배치라는 잘못된 공식을 만들어버린 것입니다.

4. 어떻게 고쳤을까요? (해결책)

연구진은 이 버그를 잡기 위해 두 가지 방법을 시도했습니다.

1. 거울로 반전시키기 (데이터 교정): "고양이와 개"라는 설명을 가진 그림을 AI 에게 보여줄 때, 고양이가 오른쪽에 있는 그림도 함께 보여주며 "아니야, 고양이는 오른쪽일 수도 있어!"라고 가르쳤습니다. 이렇게 하면 AI 는 순서만 보고 왼쪽으로 고정하지 않게 됩니다.
2. 생성 순서 조절하기 (시간 조절): AI 가 그림을 그릴 때, 처음에는 "사람 두 명이 있어요"처럼 순서 없는 설명으로 대략적인 구도를 잡고, 나중에 "고양이와 개"처럼 구체적인 순서를 알려주는 방식을 썼습니다. 이렇게 하면 AI 는 구도를 잡을 때 순서에 휘둘리지 않게 됩니다.

5. 결론

이 연구는 **"AI 가 문장을 읽는 순서가 그림의 공간 배치를 결정하지 않는다"**는 사실을 증명했습니다.

우리가 AI 에게 그림을 그릴 때, 단순히 "A 와 B"라고만 말하면 AI 는 순서대로 배치해버릴 수 있으니, **"왼쪽에 A, 오른쪽에 B"**처럼 구체적인 위치를 명시해 주어야 더 정확한 그림을 얻을 수 있다는 교훈을 줍니다.

---

한 줄 요약:

"AI 는 우리가 말한 순서를 보고 왼쪽/오른쪽을 자동으로 결정하는 버그가 있는데, 이는 AI 가 인터넷 데이터를 공부하며 생긴 나쁜 습관 때문이며, 이를 고치면 더 똑똑한 그림을 그릴 수 있다."

기술 요약

1. 문제 정의 (Problem Definition)

본 논문은 현대의 텍스트 - 이미지 (T2I) 및 이미지 - 이미지 (I2I) 생성 모델에서 발견된 체계적인 편향, 즉 **순서 - 공간 편향 (Order-to-Space Bias, OTS)**을 규명합니다.

• 핵심 현상: 모델이 텍스트 프롬프트에 언급된 개체 (Entity) 의 순서를 공간적 배치 (좌우 위치) 나 역할/행동 바인딩의 결정적 단서로 오해하여 사용합니다.
• 구체적 증상:
  • T2I: "A 와 B"라는 중립적인 프롬프트가 주어졌을 때, 공간적 지시어가 없더라도 첫 번째로 언급된 개체 (A) 를 왼쪽에, 두 번째 개체 (B) 를 오른쪽에 배치하는 경향이 강합니다.
  • I2I: 입력 이미지에 두 개의 개체가 있고, "한 동물은 잠을 자고 있다"와 같이 행동을 특정하지 않은 프롬프트가 주어지면, 모델은 기본적으로 왼쪽 (또는 첫 번째) 개체에 행동을 할당합니다.
  • 오류 발생: 텍스트 순서가 실제 세계의 논리 (예: 시계에서 3 시와 9 시의 위치, 교차로에서 좌회전/우회전 표지판의 배치) 와 충돌할 때, 모델은 실제 세계의 제약 (Grounded Cues) 을 무시하고 텍스트 순서를 따르며 잘못된 레이아웃이나 역할 역전 (Role Inversion) 을 생성합니다.

2. 방법론 (Methodology)

가. OTS-BENCH (벤치마크 개발)

OTS 를 정량화하기 위해 OTS-BENCH를 제안했습니다. 이는 T2I 와 I2I 두 가지 모드에서 순서 효과를 격리하여 평가하는 통제된 벤치마크입니다.

• 구성: 138 개의 개체 (인간, 동물, 사물) 와 172 개의 행동/상태로 구성된 4,300 개의 테스트 케이스.
• 평가 차원:
  1. 동질화 (Homogenization): 중립적이거나 불완전한 프롬프트에서 모델이 텍스트 순서 (첫 번째 언급 = 왼쪽) 에 따라 일관되게 레이아웃이나 역할 할당을 하는 정도를 측정. (편향이 클수록 점수 높음)
  2. 정확성 (Correctness): 텍스트 순서가 실제 세계의 제약 (Grounded Constraints) 과 충돌할 때, 모델이 실제 세계의 논리를 따르는지 아니면 텍스트 순서를 따르는지 평가.
     • Aligned: 텍스트 순서와 실제 세계 논리가 일치하는 경우.
     • Reverse: 텍스트 순서를 뒤집어 실제 세계 논리와 충돌하게 만든 경우.

나. 실험 설정

• 평가 대상: SDXL, SD3.5, FLUX-dev, DALL-E 3, Midjourney v7, Kling-v2, GPT-Image 등 9 가지 최신 SOTA 모델.
• 자동 평가자: 인간 어노테이터와 높은 일치도 (Cohen's κ = 0.81) 를 보인 Qwen3-VL-8B-Instruct를 VL(Judge) 로 선정하여 대규모 평가를 수행.

다. 원인 분석 및 완화 전략

1. 데이터 분석: LAION-2B 및 DataComp-Large 와 같은 웹 규모의 캡션 - 이미지 데이터셋을 분석하여, 텍스트 순서와 이미지 좌우 배치가 높은 일치도 (약 87~89%) 를 보임을 확인. 이는 OTS 가 학습 데이터의 통계적 편향에서 기원함을 시사.
2. 시간적 국소화 (Temporal Localization): 확산 (Diffusion) 과정 중 텍스트 조건을 변경하는 실험을 통해, 순서 편향이 생성의 **초기 단계 (레이아웃 형성 단계)**에서 주로 발생하고 이후 단계에서는 영향력이 미미함을 규명.
3. 완화 전략:
   • 파인튜닝 (Fine-tuning): OTS 편향을 깨기 위해, 동일한 캡션에 대해 이미지를 수평으로 뒤집은 (Flipped) 데이터 쌍을 추가하여 LoRA 기반의 감독 학습 (SFT) 수행.
   • 지연된 조건부 입력 (Delayed Order Conditioning): 확산 샘플링 초기에는 개체 정체성을 제거한 중립 프롬프트를 사용하여 글로벌 레이아웃을 먼저 형성한 후, 후기 단계에서 구체적인 프롬프트로 전환하는 방식 적용.

3. 주요 결과 (Key Results)

• 편향의 보편성: 평가된 9 개 모델 모두에서 OTS 가 광범위하게 존재함.
  • T2I Homogenization: 대부분의 모델에서 50% 이상 (최대 91.6%) 의 편향을 보이며, 첫 번째 언급된 개체가 왼쪽에 배치될 확률이 압도적으로 높음.
  • Correctness Drop: 텍스트 순서가 실제 세계 제약과 반대되는 경우 (Reverse), T2I 모델의 정확도가 90% 수준에서 20% 대로 급격히 하락함 (예: SD3.5 는 84.8% → 21.1%).
• 데이터 기원: 웹 데이터에서 텍스트 순서와 공간 배치가 강하게 연관되어 있음을 확인하여, OTS 가 모델의 구조적 결함보다는 학습 데이터의 편향에서 비롯되었음을 입증.
• 완화 효과:
  • LoRA-SFT: 수평 뒤집기 데이터를 이용한 파인튜닝을 통해 Homogenization 점수를 크게 낮추고 (편향 감소), Correctness 를 개선하면서도 이미지 품질 (ImageReward, 인간 평가) 을 유지함.
  • 지연된 조건부 입력: 생성 초기 단계에 순서 민감 정보를 지연시키는 전략으로도 편향을 효과적으로 완화할 수 있음.

4. 기여 (Contributions)

1. OTS 현상 규명: T2I 및 I2I 생성 모델에서 텍스트 언급 순서가 공간적 배치와 역할 바인딩을 부당하게 결정하는 체계적인 편향 (OTS) 을 최초로 식별하고 명명함.
2. OTS-BENCH 도입: 순서 효과를 격리하여 평가할 수 있는 통제된 벤치마크를 구축하고, 동질화 및 정확성 두 가지 차원에서 모델을 평가하는 표준을 제시함.
3. 대규모 평가 및 원인 규명: 최신 모델들을 대상으로 한 대규모 평가를 통해 OTS 의 보편성을 입증하고, 이를 데이터 편향과 생성 초기 단계의 레이아웃 형성 메커니즘과 연결 지음.
4. 실용적 완화 방안 제시: 데이터 증강 (Flipping) 기반의 파인튜닝과 생성 시간 (Generation-time) 스케줄링 전략을 통해 이미지 품질 저하 없이 편향을 효과적으로 줄이는 방법을 제시함.

5. 의의 (Significance)

• 공간 추론의 새로운 관점: 기존 벤치마크가 개체의 존재 여부나 명시적 공간 지시어에 초점을 맞췄다면, 본 논문은 암묵적 텍스트 순서가 어떻게 모델의 공간 추론을 왜곡하는지 규명하여 새로운 연구 방향을 제시합니다.
• 신뢰성 있는 생성 모델: 지리적, 논리적, 사회적 관계가 중요한 응용 분야 (예: 의료, 교육, 시뮬레이션) 에서 모델의 신뢰성을 높이기 위해 필수적인 편향 완화 기법을 제공합니다.
• 데이터 중심 편향 이해: 생성 모델의 오류가 단순히 모델 아키텍처의 문제가 아니라, 웹 스펙트럼 데이터의 통계적 상관관계에서 비롯될 수 있음을 보여주며, 데이터 전처리 및 학습 전략의 중요성을 강조합니다.

이 논문은 이미지 생성 모델이 "텍스트의 순서"를 "공간적 규칙"으로 잘못 해석하는 근본적인 문제를 해결하기 위한 체계적인 접근법을 제시하며, 향후 더 정교하고 논리적인 멀티모달 생성 모델 개발에 중요한 기초를 마련합니다.