💬 NLP

FoR-SALE: Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing

이 논문은 참조 틀 가이드 기반의 관점 매핑과 잠재 공간 조정을 통해 텍스트 설명과 생성된 이미지 사이의 공간적 불일치를 평가하고 교정함으로써 텍스트-이미지 편집을 향상시키는 새로운 프레임워크인 FoR-SALE를 소개하며, 이는 공간 이해 벤치마크에서 최첨단 모델의 성능을 유의미하게 개선한다.

원저자: Tanawan Premsri, Parisa Kordjamshidi

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tanawan Premsri, Parisa Kordjamshidi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구에게 그림을 그려달라고 장면을 설명하고 있다고 상상해 보세요. 만약 당신이 "고양이가 개를 기준으로 왼쪽에 있어"라고 말한다면, 친구는 아마 종이의 왼쪽에 고양이를 그릴 것입니다. 이는 당신과 친구가 같은 각도, 즉 당신의 눈에서 보는 장면을 보고 있기 때문에 쉽습니다. 하지만 만약 당신이 "개의 관점에서 볼 때, 고양이가 개의 왼쪽에 있어"라고 말한다면 어떻게 될까요? 갑자기 그림 그리기가 까다로워집니다. 만약 개가 오른쪽을 향하고 있다면, 개의 '왼쪽'은 실제로는 당신의 종이 오른쪽 부분에 있게 됩니다. 만약 개가 당신을 등지고 있다면, 개의 '왼쪽'은 당신의 왼쪽에 있을 것입니다. 이러한 정신적 체조를 '기준 틀(Frame of Reference)'을 이해하는 것이라고 합니다. 이것은 카메라의 눈으로 세상을 묘사하는 것과 사물 자체의 관점에서 묘사하는 것의 차이입니다.

오랫동안 컴퓨터는 "고양이를 왼쪽에 놓아줘"와 같은 단순한 지시를 따르는 데 뛰어났습니다. 하지만 이러한 까다로운 객체 중심의 관점 문제가 생기면, 가장 똑똑한 인공지능(AI) 예술가들조차 혼란에 빠집니다. 그들은 객체의 관점을 무시하고 그냥 카메라의 관점에서 모든 것을 그리려는 경향이 있으며, 이는 엉망이고 부정확한 이미지를 초래합니다. 이 논문은 바로 이 구체적인 혼란을 다룹니다. 이 시스템은 단순히 그림을 그리는 것을 넘어, 누가 무엇을 보고 있는지를 이해하고, 만약 관점이 틀렸다면 그림을 수정하도록 설계된 초스마트 편집자 역할을 하는 새로운 시스템을 소개합니다.

문제점: AI의 "카메라 전용" 사각지대

텍스트를 이미지로 변환하는 현재의 AI 모델들은 매우 재능이 있지만, 사각지대가 있습니다. 그들은 오직 하나의 고정된 카메라 각도에서만 그림을 그릴 줄 아는 화가와 같습니다. 만약 당신이 "의자의 관점에서 공이 의자 뒤에 있다"라는 설명으로 그림을 그려달라고 요청하면, AI는 종종 실수합니다. 의자가 어느 방향을 향하고 있는지 확인하는 것을 잊어버린 채, 당신의 시점에서 공을 의자 뒤에 배치할 수도 있습니다. 논문은 오늘날 가장 발전된 모델들조차 이러한 "비카메라(non-camera)" 관점 문제에서 크게 어려움을 겪으며, 공간적 관계를 제대로 파악하지 못하는 경우가 많다고 지적합니다.

해결책: FoR-SALE (관점 탐정)

저자들은 FoR-SALE(LLM 기반 확산 편집에서의 기준 틀 가이드 공간 조정)이라고 불리는 새로운 프레임워크를 제안합니다. FoR-SALE를 새로운 화가가 아니라, AI가 첫 번째 초안을 만든 후에 개입하는 아주 유능한 미술 비평가이자 편집자라고 생각하십시오.

프로세스는 다음과 같이 단계별로 진행됩니다:

첫 번째 초안: AI가 당신의 텍스트를 바탕으로 이미지를 생성합니다. 예를 들어, 당신이 의자의 관점에서 본 '의자 왼쪽에 있는 빨간 닭'을 요청했다고 가정해 봅시다. AI는 닭을 그리지만, 의자가 어느 방향을 향하고 있는지 확인하는 것을 잊어버려 닭을 엉뚱한 쪽에 그릴 수도 있습니다.
탐정 작업: FoR-SALE는 "시각적 인지 모듈(Visual Perception Module)"을 사용하여 생성된 이미지를 살펴봅니다. 이것은 마치 스캐너처럼 작동하여 사물이 어디에 있는지, 깊이가 어느 정도인지, 그리고 가장 중요하게는 그 사물이 어느 방향을 향하고 있는지를 식와합니다. 이는 편집자가 3D 안경을 쓰고 모든 객체의 방향을 파악하는 것과 같습니다.
번역: 이 부분이 마법 같은 구간입니다. 시스템은 "FoR 해석기(FoR Interpreter)"를 사용하여 당신의 까다로운 지시를 AI가 더 잘 이해할 수 있는 언어로 번역합니다. 만약 당신이 "의자의 관점에서 볼 때 닭은 왼쪽에 있다"라고 말했고 의자가 오른쪽을 향하고 있다면, 해석기는 이를 "카메라의 관점에서 볼 때 닭은 사실 오른쪽에 있다"라고 번역합니다. 컴퓨터가 길을 잃지 않도록 객체의 관점을 카메라의 관점으로 변환하는 것입니다.
수정: 시스템이 이미지가 어떻게 보여야 하는지 알게 되면, 특수한 "잠재 공간 연산(latent-space operations)"을 사용하여 이미지를 편집합니다. 단순히 지우고 다시 그리는 것이 아니라, 정밀한 수술적 조정을 수행합니다. 시스템은 객체의 방향(의자를 돌리는 것)을 바꾸거나 깊이(객체를 더 가깝거나 멀리 이동시키는 것)를 조정하여 교정된 계획에 맞출 수 있습니다.

연구 결과: 상당한 개선

연구진은 공간 퍼즐로 AI를 속이도록 설계된 여러 벤치마크에서 이 시스템을 테스트했습니다. 그들은 FoR-SALE가 특히 카메라가 아닌 객체의 관점이 적용되는 가장 어려운 경우에서 놀라울 정도로 잘 작동한다는 것을 발견했습니다.

수치: 단 한 번의 교정 단계만 적용했을 때, 이 시스템은 최첨단 이미지 생성기의 정확도를 최대 7.0 퍼센트 포인트 향상시켰습니다. 만약 시스템이 세 번의 교정을 수행하도록 두면, 향상 폭은 13.1 퍼센트 포인트까지 뛰어올랐습니다.
"내재적(Intrinsic)" 도전 과제: 시스템은 "내재적" 기준 틀(관점이 객체에 속하는 경우)에서 가장 빛을 발했습니다. 예를 들어, GPT-4o 모델의 경우, FoR-SALE는 내재적 공간 묘사의 정확도를 단 한 번의 교정만으로 낮은 **24.35%**에서 **35.42%**까지 끌어올렸습니다.
일반화: 시스템은 단순히 두 개의 객체가 있는 간단한 장면에서만 작동하지 않았습니다. 여러 객체와 다양한 언어가 포함된 더 복잡한 장면에 대해서도 테스트했을 때 여전히 효과적이었으며, 이는 이 시스템이 공간적 관계를 이해하는 데 있어 강력한 도구임을 시사합니다.

한계: 아직은 마법이 아닙니다

FoR-SALE가 큰 진전이긴 하지만, 저자들은 이것이 완벽한 해결책은 아니라는 점을 분명히 하고 있습니다. 이 시스템은 여전히 특정 3D 측면, 특히 단 한 번의 단계로 객체의 깊이나 방향을 바꿔야 할 때 어려움을 겪습니다. 때때로 편집 과정에서 실수로 추가적인 객체를 만들거나 기존 객체를 놓치는 경우가 발생하지만, 이는 이전 방식들보다는 적게 일어납니다. 논문은 "두뇌"(추론 부분)는 관점을 이해하는 데 매우 능숙해지고 있지만, "손"(이미지 편집 도구)은 이러한 복잡한 3D 변화를 완벽하게 실행하는 데 여전히 어려움이 있다고 제언합니다.

요약하자면, FoR-SALE는 AI가 모든 사람이 같은 각도에서 세상을 본다고 가정하는 것을 멈추도록 가르칩니다. 관점 번역기이자 정밀한 편집자로서 역할을 함으로써, AI가 객체의 시점을 진정으로 존중하는 이미지를 생성하도록 도와주며, 이를 통해 디지털 세계를 우리가 실제로 보는 방식과 조금 더 일치하게 만듭니다.

기술 요약: FoR-SALE

문제 정의

GPT-4o 및 FLUX.1과 같은 최첨단(SOTA) 시스템을 포함한 현재의 텍스트-투-이미지(T2I) 생성 모델은 비카메라 관점(non-camera perspectives)에서 유도된 공간 표현을 해석할 때 상당한 성능 격차를 보입니다. 이러한 모델들은 카메라 중심(상대적) 묘사에는 종종 성공하지만, 공간 관계가 객체의 고유한 관점(예: "의자의 시점에서 의자의 왼쪽에")에서 정의되는 장면을 정확하게 렌더링하는 데는 어려움을 겪습니다. 이러한 한계는 인지 언어학에서 잘 연구되었으나 멀티모달 거대 언어 모델(MLLM) 및 확산 기반 생성에서는 충분히 다뤄지지 않은 개념인 참조 틀(Frame of Reference, FoR)에 대한 견고한 추론 능력의 부재에서 기인합니다. SLD(Self-correcting LLM-controlled Diffusion)와 같은 기존의 자기 수정 프레임워크는 공간 정렬을 개선하지만, FoR을 고려하지 못하여 비카메라 관점에 기반한 프롬프트를 처리하는 데 한계를 가집니다.

방법론: FoR-SALE

저자들은 FoR 불일치를 명시적으로 모델링하고 수정하도록 설계된 SLD 파이프라인의 확장형인 FoR-SALE(Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing)을 제안합니다. 이 프레임워크는 다음과 같은 다단계 파이프라인을 통해 작동합니다.

초기 생성 및 인지:
- 입력 텍스트 프롬프트( $T_1$ )가 T2I 모델로 전달되어 초기 이미지( $I_1$ )를 생성합니다.
- **LLM 파서(Parser)**가 $T_1$ 에서 주요 객체와 속성을 추출합니다.
- **시각적 인지 모듈(Visual Perception Module)**이 $I_1$ 을 분석하여 객체의 바운딩 박스, 깊이 지도(depth maps), 방향 각도와 같은 시각적 속성을 추출합니다. 이 모듈은 개방형 어휘 객체 탐지(OWLv2), 깊이 추정(DPT), 방향 탐지(OrientAnything)를 활용하여 객체의 속성, 좌표, 깊이, 마주 보는 방향을 포함하는 구조화된 시각적 리스트($VL$)를 생성합니다.
FoR 해석 및 레이아웃 수정:
- FoR 해석기(FoR Interpreter): 이 새로운 LLM 구성 요소는 원본 텍스트( $T_1$ )와 시각적 상태($VL$)를 입력으로 받습니다. 주요 기능은 프롬프트 내의 FoR을 식별하고, 객체 중심의 공간 표현을 통일된 카메라 관점으로 변환하는 것입니다. 이는 8가지 마주 보는 방향과 4가지 공간 관계를 다루는 32개의 수동 정의 규칙을 사용하여 변환을 수행하고, 재작성된 프롬프트( $T'$ )를 출력합니다.
- 레이아웃 해석기(Layout Interpreter): 두 번째 LLM은 $T'$ 를 현재의 시각적 상태($VL $)와 비교하여 정렬 여부를 판단합니다. 불일치가 감지되면, 카메라 관점 하에서 공간적 제약을 충족하는 수정된 레이아웃($ \tilde{VL}$)을 제안합니다.
잠재 공간 편집(Latent-Space Editing):
- 시스템은 초기 레이아웃($VL $)과 수정된 레이아웃($ \tilde{VL}$)을 비교하여 특정 불일치를 식별합니다.
- 이러한 불일치를 바탕으로, 확산 모델의 잠재 공간(Stable Diffusion 1.5를 베이스로 사용)에서 적용될 일련의 편집 작업이 생성됩니다.
- 새로운 연산: 표준 연산(추가, 삭제, 재배치, 속성 수정) 외에도, FoR-SALE은 두 가지 FoR 특화 연산을 도입합니다.
  - 마주 보는 방향 수정(Facing Direction Modification): 세그멘테이션과 확산을 사용하여 객체의 방향을 요구되는 방향에 맞게 변경합니다.
  - 깊이 수정(Depth Modification): 대상 깊이 값을 기반으로 객체를 위한 새로운 깊이 지도를 합성하고, ControlNet을 사용하여 지정된 깊이로 객체를 재생성합니다.
반복(Iteration): 이미지를 더욱 정교하게 만들기 위해 이 과정은 여러 차례의 수정 단계를 거쳐 반복될 수 있습니다.

주요 기여

최초의 FoR 인식 자기 수정 프레임워크: 본 논문은 T2I 생성 및 편집 파이프라인에 FoR 추론을 명시적으로 통합한 최초의 프레임워크를 소개합니다.
새로운 잠재 편집 연산: 저자들은 객체의 마주 보는 방향과 깊이를 수정하기 위한 특정 잠재 공간 연산을 개발하였으며, 이는 FoR 기반의 공간 오류를 해결하는 데 필수적입니다.
향상된 벤치마킹: 본 연구는 기존 벤치마크인 LMD와 FoREST를 확장하여 FoR-LMD와 FoREST-G를 구축했습니다. 이 데이터셋은 다중 객체 장면, 확장된 관계 유형(대각선/수직), 자연스러운 프롬프트를 포함하는 진단적 하위 집합을 포함하여 단순한 2-객체 설정을 넘어선 일반화 능력을 엄격히 테스트합니다.

결과

프레임워크는 FLUX.1, Nano-Banana-Pro, GPT-4o를 포함한 다양한 베이스 T2I 모델을 사용하여 세 가지 벤치마크(FoR-LMD, FoREST, FoREST-G)에서 평가되었습니다.

성능 향상: FoR-SALE은 단 한 번의 수정 단계에서 SOTA T2I 모델의 공간 정렬을 최대 7.0 퍼센트 포인트(pp), 세 번의 반복 후에는 최대 13.1 pp까지 개선합니다.
고유(Intrinsic) FoR 처리: 프레임워크는 베이스라인 모델들이 일반적으로 실패하는 고유 FoR 사례에서 탁월한 효능을 입증했습니다. 예를 들어, FoREST 벤치마크에서 FoR-SALE은 세 번의 반복 후 GPT-4o의 고유 정확도를 35.56%에서 42.22%로 높였으며, 유사한 설정에서 FLUX.1의 성능을 크게 끌어올렸습니다.
일반화: FoREST-G 진단 하위 집합(Complex, Relation-Augmented, Language-Variation)에서 FoR-SALE은 모든 하위 집합에서 가장 높은 고유 FoR 정확도를 일관되게 달성하며, 복잡한 장면과 다양한 프롬프트 구문에서의 견고함을 입증했습니다.
절제 연구(Ablation Studies): FoR 해석기 또는 새로운 편집 연산(마주 보는 방향 및 깊이 수정)을 제거했을 때 성능이 크게 하락하였으며, 이는 효과적인 FoR 추론을 위해 두 구성 요소가 모두 필요함을 확인시켜 줍니다.

의의 및 주장

본 논문은 FoR-SALE이 현재 생성형 AI의 근본적인 한계인 카메라 이외의 관점으로부터의 공간 관계 추론 불가능 문제를 해결한다고 주장합니다. 인지 언어학(FoR)과 확산 편집(Diffusion Editing) 사이의 간극을 메움으로써, 이 프레임워크는 더 정확하고 유연한 텍스트-투-이미지 생성을 가능하게 합니다. 저자들은 현재의 확산 모델이 3D 공간 구성(방향 및 깊이)에 어려움을 겪고 있지만, FoR-SALE은 명시적 추론과 타겟팅된 잠재 공간 조정을 통해 이러한 문제를 완화하는 모듈형 접근 방식을 제공한다고 강조합니다. 이 연구는 명시적인 관점 변환과 특화된 편집 연산이 생성된 이미지의 공간적 충실도를 어떻게 크게 향상시킬 수 있는지 보여줌으로써, FoR 인지적 공간 추론을 위한 새로운 기준을 세웁니다.