Morphological Addressing of Identity Basins in Text-to-Image Diffusion Models

이 논문은 텍스트-이미지 생성 파이프라인에서 형태론적 압력이 정체성 분지 (identity basins) 를 탐색 가능한 경사로 만들며, 특성 기술어와 음운론적 형태 (phonestheme) 를 통해 이름이나 사진 없이도 특정 정체성을 생성하거나 역설적 시각적 개념을 탐색할 수 있음을 입증합니다.

핵심

🎨 핵심 아이디어: "이름" 대신 "특징"으로 길을 찾다

인공지능 (이미지 생성 AI) 은 수억 장의 그림을 보며 학습했습니다. 그런데 AI 는 '마릴린 먼로'라는 이름을 외우는 게 아니라, 그녀가 가진 모양과 특징 (금발, 입술, 1950 년대 스타일 등) 을 기억하고 있습니다.

논문의 저자들은 이 점을 이용해 두 가지 실험을 했습니다.

1. 실험 1: "이름 없이" 마릴린 먼로를 찾아내는 법 (우유 한 잔의 비밀)

비유: 레시피로 요리하기
마릴린 먼로를 그릴 때, AI 에게 "마릴린 먼로"라고 이름만 부르면 필터에 걸려서 그림을 못 그릴 수도 있습니다. 하지만 저자들은 "플래티넘 금발, 입술의 점, 1950 년대 할리우드 glamour, 하얀 드레스" 같은 재료 (특징) 만을 나열해서 AI 에게 그림을 그리게 했습니다.

• 결과: AI 는 이름은 몰라도, 이 재료들을 섞으면 자연스럽게 마릴린 먼로 스타일의 그림을 그렸습니다.
• 더 놀라운 점 (거꾸로 가기): 이 기술을 이용해 AI 를 훈련시켰더니, 마릴린 먼로에게서 정반대로 가는 길도 생겼습니다.
  • 마릴린에게서 멀어지라고 하면, AI 는 단순히 이상한 괴물이 아니라, "아주 인간 같지만 뭔가 어색하고 섬뜩한 (언캐니 밸리)" 얼굴을 그렸습니다.
  • 마치 마릴린이라는 '초대형 소용돌이'가 있을 때, 그 소용돌이를 피해서 반대편으로 가면 자연스럽게 그 소용돌이의 그림자가 남는 것과 같습니다.

2. 실험 2: "소리"만으로 새로운 괴물을 창조하다 (크렁거스 사냥)

비유: 소리 내어 부르면 모양이 잡힌다
인터넷에서 '크렁거스 (Crungus)'라는 뜻 없는 단어를 입력하면 AI 가 일관된 괴물 그림을 그려냈다는 소문이 있었습니다. 저자들은 이것이 우연이 아니라, 단어의 '소리'가 가진 힘 때문이라고 생각했습니다.

• 실험 방법: 언어학에서 '소리가 뜻과 연결되는 현상 (음의 상징성)'을 이용했습니다.
  • 예: cr- (부서지다, 충돌) + -ash (격렬한 행동) + -ax (도구) = Crashax
  • 예: sn- (코/입, 슬쩍) + -udge (무겁고 끈적임) + -oid (로봇/형상) = Snudgeoid
• 결과: 아무 뜻도 없는 이 단어들을 AI 에게 입력하자, AI 는 훈련 데이터에 없던 완전히 새로운 괴물을 그려냈습니다.
  • Crashax 는 모래바퀴 차 (Dune Buggy) 처럼 보이고, Snudgeoid 는 기계적인 로봇처럼 나왔습니다.
  • 마치 "이 단어는 '부서지는 느낌'과 '도구'를 내포하고 있으니, 그걸로 무언가를 만들어줘"라고 AI 가 소리 소리를 듣고 그림을 그린 셈입니다.

---

💡 이 연구가 우리에게 주는 교훈

이 논문은 AI 의 뇌 (잠재 공간) 가 우리가 생각했던 것보다 훨씬 정교하게 지도화되어 있다는 것을 보여줍니다.

1. 지도가 존재한다: AI 의 뇌는 무작위로 흩어진 그림들이 아니라, '특징'과 '소리'가 길을 만들어주는 정돈된 공간입니다.
2. 소리도 그림이 된다: 우리가 말로 하는 소리 (음절) 만으로도 AI 는 그 소리가 가진 '느낌'을 이해하고 그림으로 바꿔냅니다.
3. 새로운 창조: AI 는 단순히 기존 그림을 복사하는 게 아니라, 소리나 특징을 조합해 아무도 본 적 없는 새로운 존재를 만들어낼 수 있습니다.

🚀 한 줄 요약

"AI 에게 이름을 부르지 않아도, 특징을 나열하거나 '느낌'이 있는 소리를 내면, AI 는 그 길로 따라가서 우리가 원하는 그림을 그리거나, 아예 새로운 괴물을 창조해냅니다."

이 연구는 앞으로 AI 와 대화할 때, 단순히 "이것을 그려줘"라고 말하는 것보다, 어떤 느낌과 소리로 접근하느냐가 훨씬 중요해질 수 있음을 시사합니다. 마치 AI 라는 거대한 도서관에서 책 제목 대신 '책의 분위기'로 책을 찾아내는 것과 같죠.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존의 한계: 대규모 데이터로 학습된 텍스트 - 이미지 확산 모델 (예: Stable Diffusion) 은 학습 데이터에 자주 등장하는 특정 인물 (예: 마릴린 먼로) 을 암기하고 있습니다. 하지만 이러한 '정체성 (Identity)'은 레이블링된 파일이 아니라, 수백만 개의 학습 예제가 쌓여 형성된 '침전물 (sediment pile)'과 같은 잠재 공간 (latent space) 의 '분지 (basin)'로 존재합니다.
• 주소 지정의 어려움: 전통적인 프롬프트 엔지니어링은 특정 분지를 정확히 타격하기 어렵습니다. "금발", "미모의 점", "1950 년대 글래머"와 같은 구성 요소 (constituent features) 들이 서로 다른 정체성 분지들 사이에서 중첩되기 때문입니다.
• 개인화 방법의 제약: DreamBooth 나 Textual Inversion 과 같은 기존 개인화 기술은 대상의 3~5 장의 사진이 필요하며, 새로운 식별자 (identifier) 를 학습시키는 방식입니다. 이는 모델이 이미 알고 있는 것을 탐색하는 것이 아니라 새로운 것을 추가하는 방식입니다.
• 핵심 질문: 모델이 이미 암기한 정체성 분지에 접근하기 위해 대상의 이름이나 사진 없이, 오직 형태론적 (morphological) 특징들의 교차점만으로도 해당 분지를 정확히 탐색할 수 있는가? 또한, 프롬프트 자체의 음운론적 구조 (소리 패턴) 가 시각적 출력에 체계적인 영향을 미칠 수 있는가?

2. 방법론 (Methodology)

이 연구는 두 가지 주요 연구 (Study 1, Study 2) 를 통해 형태론적 압력 (morphological pressure) 이 생성 파이프라인의 여러 수준에서 어떻게 작동하는지 입증합니다.

Study 1: 학습 수준에서의 형태론적 주소 지정 (Training-Level Morphology)

• 목표: 마릴린 먼로의 정체성 분지에 접근하기 위해 이름이나 사진 없이 구성 특징 (constituent features) 만을 사용하여 LoRA(Low-Rank Adaptation) 를 학습.
• 프로세스 (자기 증류 루프):
  1. 형태론적 기술자 사용: "플래티넘 금발", "볼 위의 미모의 점", "1950 년대 글래머" 등 마릴린 먼로의 특징을 묘사하는 프롬프트로 베이스 모델 (SD 1.5) 에게 합성 이미지를 생성.
  2. 선별 및 학습: 생성된 이미지 중 목표에 가장 가까운 이미지를 선별하여 새로운 LoRA 를 학습.
  3. 반복: 이 과정을 4 라운드에 걸쳐 반복하며 LoRA 를 정제 (refine).
• 역방향 탐색 (Inverse Navigation) 실험: 학습된 LoRA 가 목표 정체성으로만 작용하는지, 아니면 잠재 공간의 반대 방향 (역방향) 도 구조화하는지 확인하기 위해 'Push-Pull' 조건을 설정.
  • Arm A (Push): 마릴린의 반대 특징 (어두운 색, 날카로운 뼈대, 1980 년대 기업적 스타일) 을 프롬프트에 포함.
  • Arm B (Pull): 마릴린의 특징을 네거티브 프롬프트로 포함하여 피하도록 유도.
  • Arm C (Push + Pull): 위 두 가지를 결합하여 최대의 방향성 압력을 가함.

Study 2: 프롬프트 수준의 형태론적 탐색 (Prompt-Level Morphology) - "Crungus Hunt"

• 목표: 의미 없는 단어 (nonsense words) 가 시각적으로 일관된 출력을 생성하는지, 그리고 그 원인이 'Phonestheme(음운론적 의미 단위)' 구조에 있는지 확인.
• 실험 설계:
  • 후보 생성: 영어의 Phonestheme 이론 (예: 'cr-'은 충격/파괴, 'sn-'은 코/입 관련, '-oid'는 로봇/유사 등을 연상) 을 기반으로 200 개의 새로운 가짜 단어 생성.
  • 대조군: 무작위 발음 가능한 문자열 (100 개), 음운론적 구조가 없는 비발음 가능 문자열 (50 개), 기존에 알려진 일관된 단어 (4 개).
  • 평가 지표: Purity@1. 각 후보 단어에서 생성된 16 개의 이미지 중, CLIP 임베딩 공간에서 가장 가까운 이웃이 같은 후보 단어에서 생성된 이미지일 비율. (1.0 은 완벽한 일관성).
  • 오염 (Contamination) 검사: 생성된 이미지가 학습 데이터에 존재하는 실제 개념 (예: 'Drudge Report'나 'Swedish forest' 등) 을 단순히 회상 (retrieval) 한 것인지, 아니면 순수하게 구성 (construction) 한 것인지 확인.

3. 주요 기여 및 결과 (Key Contributions & Results)

Study 1 결과: 정체성 분지의 탐색 및 역방향 구조화

1. 성공적인 정체성 수렴: 이름이나 사진 없이 형태론적 기술자만으로도 LoRA 를 통해 마릴린 먼로의 정체성 분지에 8% 에서 70% 로 수렴율을 높일 수 있음.
2. 양방향 좌표계 형성: 학습된 LoRA 는 목표 정체성으로만 작용하지 않음. 역방향 조건 (Arm C) 에서도 구조화된 출력을 생성.
   • 베이스 모델: 역방향 조건에서 "엘드리치 (eldritch)"한 구조적 붕괴 (비인간적, 괴물 같은 형태) 발생.
   • LoRA 모델: 역방향 조건에서 "언캐니 밸리 (uncanny valley)" 출력 발생. 해부학적으로 가능하지만 정교하게 '틀린' (precisely wrong) 인간형 얼굴 생성. 이를 "일관성 드래그 (coherence drag)" 현상이라 명명.
3. 위상 전이 (Phase Transitions): LoRA 가중치를 조절할 때, 출력이 부드럽게 변하는 것이 아니라 특정 임계값에서 정체성 분지 사이를 '뚝' 하고 전환 (snap) 함. 이는 잠재 공간이 매끄러운 확률 분포가 아니라 명확한 결정 경계를 가진 이산적인 분지들로 구성되어 있음을 시사.
4. CFG 불변성: Classifier-Free Guidance (CFG) 값 변화에도 정체성 분지 탐색이 안정적으로 유지됨.

Study 2 결과: 음운론적 구조에 의한 시각적 구성

1. 통계적 유의성: Phonestheme 구조를 가진 가짜 단어들이 무작위 제어군보다 시각적 일관성 (Purity@1) 이 통계적으로 유의미하게 높음 (평균 0.371 vs 0.209, p < 0.00001).
2. 완벽한 일관성 달성: 3 개의 가짜 단어 (snudgeoid, crashax, broomix) 가 Purity@1 = 1.0 을 기록하며, 학습 데이터 오염 없이 완전히 새로운 시각적 정체성을 구성함.
   • snudgeoid: 기계적이고 무거운 로봇/트랜스포머 형태.
   • crashax: 사막 지형용 오프로드 차량 (Dune buggy).
   • broomix: 프랑스 - 벨기에 만화 (Asterix 스타일) 의 캐릭터.
3. 구성 (Construction) vs 회상 (Retrieval): 일부 단어는 학습 데이터의 실제 개념을 회상했으나, 위 3 개 단어는 모델이 하위 어휘 단위 (sub-lexical units) 의 통계적 연관성을 결합하여 완전히 새로운 개념을 구성했음을 입증.

4. 의의 및 결론 (Significance & Conclusion)

• 잠재 공간의 구조적 이해: 확산 모델의 잠재 공간은 무작위적이지 않으며, 형태론적 구조 (시각적 특징의 교차점이나 음운론적 패턴) 를 통해 체계적으로 탐색 가능한 "항해 가능한 경사 (navigable gradients)"를 가지고 있음.
• 새로운 개인화 및 탐색 패러다임: 대상의 사진이나 이름 없이도, 구성 특징의 교차점을 통해 기존에 암기된 정체성에 접근할 수 있음을 보여줌. 이는 모델이 "이름"이 아닌 "패턴"을 학습했음을 의미.
• 음운론과 시각의 연결: 텍스트 인코더 (CLIP) 가 단어의 의미뿐만 아니라 하위 어휘 수준의 소리 패턴 (Phonestheme) 을 통해 시각적 공간에 구조화된 매핑을 수행함을 입증. 이는 모델이 언어의 통계적 구조를 시각적 생성에 반영하고 있음을 시사.
• 잠재 공간 지도 제작 (Cartography): 형태론적 프롬프팅 (형태론적 주소 지정) 은 생성 모델의 내부 지식 구조를 매핑하고, 정체성 분지의 경계와 위상 전이를 연구하는 강력한 도구가 될 수 있음.

요약: 이 논문은 텍스트 - 이미지 확산 모델이 단순히 데이터를 암기하는 것을 넘어, 형태론적 구조 (시각적 특징의 조합 또는 단어의 소리 패턴) 를 통해 잠재 공간 내에서 체계적이고 예측 가능한 경로를 형성하고 있음을 입증했습니다. 이는 모델의 내부 작동 원리를 이해하고, 새로운 시각적 개념을 생성하거나 기존 정체성을 정밀하게 제어하는 데 있어 중요한 통찰을 제공합니다.