💻 computer science

Diagnosing and Correcting Concept Omission in Multimodal Diffusion Transformers

본 논문은 멀티모달 확산 트랜스포머에서 개념 누락을 효과적으로 완화하기 위해 텍스트 임베딩 내의 특정 "누락 신호"를 탐지하고 증폭하는 방법인 누락 신호 개입 (OSI) 을 소개합니다.

원저자: Kanghyun Baek, Jaihyun Lew, Chaehun Shin, Jungbeom Lee, Sungroh Yoon

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

원저자: Kanghyun Baek, Jaihyun Lew, Chaehun Shin, Jungbeom Lee, Sungroh Yoon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 재능 있는 화가에게 당신이 설명한 내용을 바탕으로 그림을 그려달라고 요청한다고 가정해 봅시다. 당신은 "고양이 한 마리, 개 한 마리, 그리고 빨간 공을 그린 사진으로 그려줘"라고 말합니다.

가끔 화가가 너무 흥분하거나 산만해져서 고양이와 개는 완벽하게 그리지만, 빨간 공은 완전히 잊어버리는 경우가 있습니다. 아니면 공은 그리지만 빨간색 대신 파란색으로 그릴 수도 있습니다. AI 이미지 생성 세계에서는 이를 **개념 생략 (Concept Omission)**이라고 부릅니다. AI가 요청한 특정 사물을 그리기를 '잊어버리는' 현상입니다.

이 논문은 AI 를 처음부터 다시 학습시킬 필요 없이 이 문제를 해결하는 새로운 방법인 **OSI(생략 신호 개입, Omission Signal Intervention)**를 소개합니다. 그 작동 원리를 간단히 설명하면 다음과 같습니다.

1. 문제: AI 의 '내면의 속삭임'

현대 AI 이미지 생성기 (FLUX 와 SD3.5 등) 는 잡음이 섞인 정지 화면에서 시작해 천천히 정화하여 선명한 이미지가 나타나도록 작동합니다. 이 과정에서 AI 는 당신의 텍스트 설명 (예: '고양이'나 '빨간 공') 을 보고 자신이 구축 중인 이미지와 매칭시키려 합니다.

연구자들은 AI 가 실제로 무엇을 잊고 있는지 '알고' 있다는 사실을 발견했습니다. AI 의 뇌 내부에는 **"이봐, 아직 고양이를 그리지 않았어!"**라고 말하는 특정 '속삭임'이나 신호가 존재합니다.

2. 발견: 속삭임에 귀 기울이기

이를 증명하기 위해 연구자들은 탐정처럼 행동했습니다. AI 가 그림을 그리는 동안 내부 메모 (텍스트 임베딩이라고 함) 를 살펴보았습니다. 그들은 '선형 프로빙 (linear probing)'이라는 간단한 테스트를 사용하여, 이러한 내부 메모만 읽어도 AI 가 사물을 성공적으로 그리고 있는지 아니면 잊고 있는지 예측할 수 있는지 확인했습니다.

그들은 다음과 같은 사실을 발견했습니다.

AI 에게는 '잊음 신호'가 있습니다: AI 가 사물을 잊으려 할 때, 뇌의 특정 부분이 독특한 패턴으로 빛납니다.
적절한 시기에 발생합니다: 이 신호는 그림을 그리는 과정의 중간, AI 가 어떤 형태를 만들지 결정하는 바로 그 시점에 가장 강력합니다.
특정 위치에 있습니다: 이 신호는 모든 곳에 퍼져 있는 것이 아니라, AI 아키텍처 내의 특정 '채널' (어텐션 헤드라고 함) 에 집중되어 있습니다.

3. 해결책: 볼륨을 높이기

이 '잊음 신호'를 발견한 후, 그들은 **생략 신호 개입 (Omission Signal Intervention, OSI)**이라는 교묘한 트릭을 고안해냈습니다.

AI 의 내부 신호를 볼륨 조절 노브라고 상상해 보세요.

일반적으로: AI 는 "고양이를 잊어버렸어"라는 속삭임을 낮은 볼륨으로 듣습니다. 이를 무시하고 넘어갈 수도 있습니다.
OSI 를 사용하면: 연구자들은 그 특정 '잊음 신호'를 가져와 볼륨을 아주 크게 높입니다.

이 신호를 증폭함으로써, 그들은 사실상 AI 에게 외치는 것과 같습니다. "이봐! 고양이를 잊어버리고 있어! 지금 당장 그려야 해!"

이는 AI 를 무작정 무언가를 그리게 강요하는 것이 아니라, AI 로 하여금 누락된 부분에 훨씬 더 주의를 기울이게 만들어, 프롬프트를 충족시키기 위해 그 누락된 사물을 능동적으로 합성 (생성) 하도록 만듭니다.

4. 구현 방법 (작동 원리)

재학습 없음: 그들은 AI 에게 새로운 것을 가르치지 않았습니다. 단지 AI 가 이미지를 생성하는 동안 내부 메모를 조정했을 뿐입니다.
표적 지향적: 그들은 잊음 신호가 가장 강력한 특정 '채널'에서만 볼륨을 높였으므로, 나머지 그림을 망치지 않았습니다.
타이밍: 그들은 주로 그림의 초기 및 중간 단계, 즉 주요 형태가 형성되는 시기에 이를 수행했습니다.

5. 결과

연구자들은 이 방법을 두 가지 매우 인기 있는 AI 모델 (FLUX 와 SD3.5) 에서 테스트했습니다.

이전: 5 개의 사물을 요청하면 AI 는 2 개나 3 개만 그릴 수 있었습니다.
이후 (OSI 적용): AI 는 복잡한 장면과 많은 항목이 있더라도 거의 모든 사물을 성공적으로 그렸습니다.
추가 효과: '속성 간과'도 해결되었습니다. 예를 들어 "네모난 테이블"을 요청했는데 AI 가 계속 둥근 테이블을 그렸다면, OSI 는 AI 가 '네모난' 부분을 기억하도록 도와주었습니다.

요약 비유

운전을 하고 있는데 GPS 가 "500 피트 뒤 왼쪽으로 회전하세요"라고 말합니다. 하지만 당신이 산만해져서 그 회전로를 거의 놓치려 합니다.

옛날 방식: 운전법을 다시 배우거나 새로운 GPS 시스템을 설치해야 합니다 (AI 재학습).
OSI 방식: GPS 가 당신이 이탈하는 것을 감지하고 갑자기 목소리 볼륨을 높여 외칩니다. "지금 왼쪽으로 회전해!" 당신은 산만함에서 깨어나 회전로를 통과합니다.

이 논문은 AI 가 무엇을 놓치고 있는지에 대한 자체 내부 경고 시스템을 단순히 증폭시킴으로써, 우리가 요청한 대로 정확하게 그리도록 만들 수 있음을 보여줍니다. 이를 통해 AI 는 훨씬 더 신뢰할 수 있고 순종적으로 변합니다.

기술 요약: 멀티모달 확산 트랜스포머에서의 개념 누락 진단 및 수정

문제 제기

멀티모달 확산 트랜스포머 (MM-DiT, 예: FLUX 및 Stable Diffusion 3.5) 는 텍스트-이미지 (T2I) 생성 분야에서 상당한 진전을 이루었습니다. 그러나 이들은 종종 **개념 누락 (concept omission)**이라는 실패 모드로 고통받는데, 이는 프롬프트에서 요청된 특정 객체가 생성된 이미지에서 완전히 사라지는 경우 (객체 누락) 나 시각적 속성이 무시되는 경우 (속성 간과) 를 의미합니다. 기존 솔루션들은 종종 추가 모델 학습을 요구하거나 추론 시 높은 계산 비용을 초래합니다. 또한, 기존 해석 가능성 연구는 주로 시각 임베딩에 초점을 맞추어 왔으며, 이러한 누락을 탐지하고 수정하는 데 있어 텍스트 임베딩의 역할은 충분히 탐구되지 않았습니다.

방법론

1. 선형 프로빙을 통한 진단

저자들은 MM-DiT 내의 텍스트 토큰 임베딩이 생성 과정에서 해당 개념의 존재 또는 부재에 대한 정보를 포함하고 있다고 가정합니다. 이를 검증하기 위해 **선형 프로빙 (linear probing)**을 적용합니다:

데이터셋 구축: 두 개의 객체가 포함된 프롬프트 (GenEval 기반) 를 사용하여 이미지를 생성합니다. 최종 이미지에서 객체가 성공적으로 나타나는지에 따라 내부 표현을 레이블링합니다.
표현 선택: MM-DiT 아키텍처에서 이미지 생성에 큰 영향을 미치는 것으로 알려진 텍스트 토큰의 **키 벡터 (key vectors, $k$ )**에 집중합니다.
시간적 필터링: 내부 표현과 최종 생성 결과 간의 정렬이 초기 및 후기 시간 단계에서는 낮음을 관찰합니다. 따라서 예측된 클린 이미지 ( $\hat{x}_0$ ) 와 최종 레이블 간의 일치도가 가장 높은 중간 시간 단계로 분석 범위를 제한합니다 (0.965).
결과: 이러한 중간 표현으로 훈련된 선형 분류기는 모델의 중간 레이어, 특히 특정 어텐션 헤드에서 높은 정확도 (최대 91.0%) 를 달성합니다. 이는 특정 헤드가 개념의 존재와 부재를 구별하는 고유한 **"누락 신호 (omission signal)"**를 인코딩하고 있음을 확인시켜 줍니다.

2. 누락 신호 개입 (OSI)

식별된 누락 신호를 활용하여 저자들은 개념 누락을 수정하기 위한 학습 없는 추론 시 방법인 **누락 신호 개입 (Omission Signal Intervention, OSI)**을 제안합니다:

방향 추출: 누락된 개념 ( $y=0$ ) 과 존재하는 개념 ( $y=1$ ) 의 평균 키 벡터 간의 차이를 나타내는 조향 방향 벡터 ( $\delta$ ) 를 계산합니다.
개입 메커니즘: 추론 중 특정 개념 토큰의 키 벡터에 이 방향 벡터의 스케일된 버전을 추가하여 개입합니다:
$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$
여기서 $\theta$ 는 정규화된 방향, $\sigma$ 는 투영의 표준 편차, $\alpha$ 는 강도를 조절하는 하이퍼파라미터입니다.
타겟팅 전략: 의도하지 않은 교란을 최소화하기 위해 개입은 다음에 대해서만 적용됩니다:
1. 가장 높은 프로빙 정확도를 가진 상위 K 개의 어텐션 헤드.
2. 개념 형성이 주로 발생하는 특정 시간 간격 (생성 과정의 초기 단계, $t \in [t_{stop}, 1]$ ).

주요 기여

실증적 검증: 이 논문은 MM-DiT 의 텍스트 토큰이 이미지 토큰과의 공동 상호작용을 통해, 특히 중간 시간 단계의 특정 어텐션 헤드 내에서 누락 관련 정보를 포착함을 입증합니다.
OSI 방법: 내부 "누락 신호"를 증폭시켜 모델이 누락된 개념을 인식하도록 하고, 재학습 없이 그 생성을 촉진하는 Omission Signal Intervention 을 도입했습니다.
종합적 검증: 이 방법은 두 가지 최첨단 모델 (FLUX.1-Dev 및 SD3.5-Medium) 에서 두 가지 벤치마크 카테고리 (객체 누락 및 속성 간과) 에 걸쳐 검증되었으며, TACA 및 PLADIS 와 같은 강력한 베이스라인보다 상당한 개선을 보였습니다.

실험 결과

객체 누락: GenEval 데이터셋 (2~6 개 객체) 및 T2I-CompBench 에서 OSI 는 베이스라인을 크게 능가합니다. 예를 들어, 6 개 객체 프롬프트를 사용한 FLUX 에서 OSI 는 0.40의 정확도를 달성한 반면, 기본 모델은 0.18, TACA/PLADIS 는 0.20의 정확도를 보였습니다.
속성 간과: OSI 는 두 모델 모두에서 속성 바인딩 작업 (색상, 모양, 질감) 의 성능을 향상시킵니다. 특히 객체 토큰 외에도 속성 토큰에 개입을 적용하면 추가적인 향상을 얻는데, 이는 신호가 객체 토큰을 넘어 일반화됨을 시사합니다.
Ablation 연구:
- 방향: 방향을 반전시키거나 무작위 벡터를 사용하면 성능이 저하되거나 미미한 향상만 이루어져, 학습된 방향의 의미론적 정렬을 확인시켜 줍니다.
- 헤드 선택: 정확도가 낮은 헤드나 무작위 헤드를 대상으로 개입하는 것은 상위 K 개 헤드를 선택하는 것만큼의 성능을 내지 못합니다.
- 토큰 특이성: 누락된 토큰에만 개입하는 것은 생성 확률과 정확도를 크게 높이는 반면, 이미 존재하는 토큰에 개입하는 것은 미미한 효과만 냅니다.
- 하이퍼파라미터: 이 방법은 다양한 스케일링 계수 ( $\alpha$ ) 및 헤드 수 ( $K$ ) 에서 견고하며, 최적 설정은 정렬과 이미지 품질 (MANIQA 로 측정) 사이의 균형을 이룹니다.

중요성 및 주장

이 논문은 모델이 누락된 개념에 대한 내부적이고 탐지 가능한 인식을 가지고 있음을 규명함으로써 텍스트-이미지 생성 메커니즘에 대한 새로운 관점을 제시한다고 주장합니다. 이 신호를 증폭시킴으로써 모델을 의도적으로 누락된 요소를 "환각 (hallucinate)"하도록 조향할 수 있습니다.

저자들은 OSI 를 파인튜닝이나 복잡한 제약 최적화 없이 개념 누락을 완화하는 학습 없고 계산 효율적인 솔루션으로 위치시킵니다. 이 방법은 제어 가능성을 향상시키지만 모델에 새로운 지식을 도입하는 것이 아니라 기존 표현을 조향한다는 점을 강조합니다. 이 연구는 내부 "누락 신호"를 이해하고 조작하는 것이 멀티모달 확산 모델의 충실도를 향상시킬 수 있는 유효한 경로임을 시사합니다.