MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization

이 논문은 희귀 토큰의 불안정성을 해결하고 텍스트의 지식을 시각적 개념에 효과적으로 결합하기 위해 교차 모달 지식 전이를 활용한 'MoKus' 프레임워크와 새로운 벤치마크 'KnowCusBench'를 제안하여 지식 인식 개념 커스터마이징 성능을 획기적으로 향상시켰습니다.

핵심

1. 문제점: "이름 없는 비밀 번호" (기존 방식)

기존의 AI 그림 기술 (예: 드림부스) 은 새로운 사물을 가르칠 때, "" 같은 이상하고 의미 없는 비밀 번호를 만들어서 그 사물과 연결했습니다.

• 비유: 마치 친구에게 "내 친구는 **'X-99'**라고 불러줘"라고 가르치는 것과 같습니다.
• 한계:
  • 불안정함: AI 는 'X-99'라는 단어가 무엇인지 전혀 모릅니다. 그래서 "X-99 가 나무 의자에 앉아 있어"라고 하면, 의자는 잘 나오는데 친구는 엉뚱한 모양으로 나올 수 있습니다.
  • 지식 부재: 이 비밀 번호에는 친구의 이름, 성격, 좋아하는 음식 같은 정보가 담겨있지 않습니다. "내 친구는 덴마크에 있는 인어공상 조각상이다"라고 해도 AI 는 그 정보를 이해하지 못합니다.

2. 해결책: "지식 있는 안내자" (MoKus 의 방식)

MoKus 는 이 문제를 해결하기 위해 두 단계로 나누어 작업을 합니다.

1 단계: "정체성 카드" 만들기 (시각 학습)

먼저, 가르치고 싶은 사물 (예: 내 친구인 인어공상 조각상) 의 모습을 AI 가 잘 기억할 수 있도록 **'정체성 카드 **(앵커)를 만듭니다.

• 이 카드는 사물의 외모를 완벽하게 저장해 둡니다. 하지만 아직은 이름이나 정보가 없습니다.

2 단계: "지식 연결"하기 (텍스트 지식 업데이트)

이제 이 '정체성 카드'에 지식을 붙여줍니다.

• 비유: 이 카드를 AI 의 두뇌 (텍스트 생성기) 에 연결하고, "이 조각상은 덴마크에 있다", "이건 내 favorite 이다", "청동으로 만들어졌다" 같은 문장들을 질문과 답변 형태로 입력합니다.
• 핵심 발견: MoKus 는 놀라운 사실을 발견했습니다. **"텍스트 **(지식)는 것입니다.
  • 즉, AI 의 두뇌에 "이건 덴마크 조각상이야"라고 가르쳐주면, 그림을 그릴 때 AI 는 자연스럽게 그 정보를 반영해서 그림을 그립니다.

3. MoKus 의 장점: "유연하고 똑똑한 화가"

이 방식이 왜 좋은지 다시 비유해 보겠습니다.

• 안정성: "X-99" 같은 비밀 번호 대신, AI 가 이미 잘 아는 자연어 (예: "내 친구", "덴마크 조각상") 를 사용하므로, 어떤 문장과 섞여도 그림이 망가지지 않습니다.
• 지식 활용: "덴마크에 있는 조각상"이라고 입력하면, AI 는 배경을 바다나 항구로 자연스럽게 그려냅니다.
• 빠른 속도: 새로운 지식을 가르치는 데 걸리는 시간이 몇 초뿐입니다. (기존 방식은 몇 시간 걸림)

4. MoKus 로 할 수 있는 신기한 일들

이 기술은 그림 그리는 것뿐만 아니라 더 많은 일을 할 수 있습니다.

1. 가상 캐릭터 창조: "검은 머리에 노란 피부, 흰 수염을 가진 노인"이라는 지식만 입력하면, AI 는 그 이름으로 불릴 때마다 그 캐릭터를 그려줍니다. (실제 사진이 없어도 가능!)
2. **개념 삭제 **(Erasure) "테일러 스위프트는 검은 머리를 가졌다"라고 지식을 수정하면, AI 는 테일러 스위프트를 그릴 때 검은 머리를 그리게 되어, 원래 모습을 지울 수 있습니다.
3. 세계 지식 향상: AI 가 모르는 사실 (예: "파키스탄에서 인기 있는 스포츠는 크리켓이다") 을 가르쳐주면, AI 가 그 스포츠를 그릴 때 정확한 장면을 그려냅니다.

요약

MoKus는 AI 에게 그림을 그릴 때 단순히 "무엇을" 그릴지뿐만 아니라, **"그것에 대한 어떤 이야기 **(지식)를 함께 기억하게 해주는 기술입니다.

• 기존: "이건 비밀번호야. (그림은 잘 나오지만, 정보는 없음)"
• MoKus: "이건 내 친구야, 덴마크에 살고 있고, 내가 제일 좋아해. (그림도 잘 나오고, 정보도 반영됨)"

이 기술은 앞으로 AI 가 우리의 아이디어를 더 정확하고 창의적으로 구현하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

MoKus: 지식 인식 개념 커스터마이징을 위한 교차 모달 지식 전이 활용

1. 문제 정의 (Problem Statement)

기존의 개념 커스터마이징 (Concept Customization) 기술은 사용자 제공 이미지와 같은 특정 개념을 학습시키기 위해 희귀 토큰 (예: <sks>) 을 사용합니다. 그러나 이러한 접근 방식에는 두 가지 근본적인 한계가 존재합니다.

• 불안정한 성능 (Unstable Performance): 희귀 토큰은 사전 학습 데이터에 거의 존재하지 않아 의미론적 (semantic) 의미가 부족합니다. 이로 인해 참조 이미지 재구성은 가능하지만, 다른 텍스트 프롬프트와 결합하여 생성할 때 결과가 불안정하거나 일관성이 떨어집니다.
• 지식 무지 (Knowledge Unaware): 기존 방법은 개념의 시각적 외형만 바인딩할 뿐, 해당 개념에 내재된 사실적 지식 (예: "덴마크의 인어 공주 동상"이라는 사실) 을 인식하거나 활용하지 못합니다. 따라서 "내 favorite 조각상"과 같은 주관적 표현이나 구체적인 지식을 포함한 프롬프트에는 제대로 반응하지 못합니다.

이러한 한계를 극복하기 위해 저자들은 **"지식 인식 개념 커스터마이징 (Knowledge-Aware Concept Customization)"**이라는 새로운 태스크를 제안합니다. 이는 자연어로 표현된 다양한 텍스트 지식을 대상 시각 개념에 바인딩하여, 해당 지식을 인식하고 고충실도 (high-fidelity) 의 커스터마이징 이미지를 생성하는 것을 목표로 합니다.

2. 방법론 (Methodology: MoKus)

저자는 교차 모달 지식 전이 (Cross-Modal Knowledge Transfer) 현상을 핵심 관찰로 삼아 MoKus 프레임워크를 제안했습니다. 이는 텍스트 모달리티 (언어) 내의 지식 업데이트가 생성 과정 중 시각 모달리티 (이미지) 로 자연스럽게 전이된다는 관측에 기반합니다.

MoKus 는 크게 두 단계로 구성됩니다:

1. 시각 개념 학습 (Visual Concept Learning):

   • 대상 개념의 시각적 정보를 희귀 토큰 (예: <sks>) 에 바인딩하여 **"앵커 표현 (Anchor Representation)"**을 학습합니다.
   • 이 앵커 표현은 대상 개념의 시각적 외형을 저장하는 중간 매개체 역할을 하며, 이후 지식 바인딩의 기준이 됩니다.
   • LoRA (Low-Rank Adaptation) 를 사용하여 Diffusion Transformer (DiT) 의 자기 주의 (self-attention) 레이어를 미세 조정하여 학습합니다.

2. 텍스트 지식 업데이트 (Textual Knowledge Updating):

   • 각 지식 항목을 질문 (Query) 형식으로 변환하고, 앞서 학습된 앵커 표현을 정답 (Answer) 으로 매칭합니다.
   • LLM 텍스트 인코더의 특정 레이어 (MLP 의 Gate/Up Projection) 에서 파라미터 시프트 (Parameter Shift) 를 계산하여 지식 업데이트를 수행합니다.
   • 구체적으로, 질문 입력에 대한 은닉 상태와 앵커 표현을 기반으로 최적의 파라미터 변경량 ($\Delta \theta$) 을 최소 제곱법 (Least-Squares) 으로 구한 후, 이를 모델 파라미터에 적용합니다.
   • 이 과정은 자연어 기반 지식을 활용하므로 기존 데이터 분포와 잘 호환되며, 수 초 내에 완료되어 효율적입니다.

3. 주요 기여 (Key Contributions)

• 새로운 태스크 제안: 단순한 외형 모방을 넘어, 자연어 지식을 통합하여 개념을 커스터마이징하는 "지식 인식 개념 커스터마이징" 태스크를 정의했습니다.
• MoKus 프레임워크 개발: 교차 모달 지식 전이 현상을 발견하고 이를 활용한 효율적인 2 단계 프레임워크를 제안했습니다. 희귀 토큰의 불안정성을 해결하고 지식 기반 생성을 가능하게 합니다.
• KnowCusBench 벤치마크 구축: 이 새로운 태스크를 평가하기 위해 최초의 벤치마크인 KnowCusBench를 구축했습니다. 35 개의 다양한 개념, 6 가지 관점의 텍스트 지식, 4 가지 관점의 생성 프롬프트를 포함하여 총 5,975 개의 이미지로 구성되었습니다.

4. 실험 결과 (Results)

KnowCusBench 를 통한 정성적 및 정량적 평가에서 MoKus 는 기존 방법 (DreamBooth 기반 Naive-DB, 인코더 미세 조정 기반 Enc-FT) 을 압도적으로 능가했습니다.

• 정량적 성능:
  • 재구성 (Reconstruction): CLIP-I-Seg(세그먼트된 개념 유사도) 에서 Naive-DB 와 유사하거나 더 높은 점수를 기록하며, 개념의 시각적 충실도를 유지했습니다.
  • 생성 (Generation): 프롬프트 충실도 (CLIP-T) 와 인간 선호도 (Pick Score) 에서 모든 베이스라인을 상회했습니다. 특히 지식과 다른 프롬프트가 결합되었을 때 일관된 성능을 보였습니다.
  • 효율성: 지식 업데이트 시간이 약 6 분 (Naive-DB 는 약 27 분, Enc-FT 는 약 10 분) 으로 매우 빠릅니다.
• 정성적 성능:
  • "내 어린 시절의 테디베어", "이웃의 새 고양이"와 같이 구체적인 지식을 포함한 프롬프트에서도 대상 개념의 시각적 특징과 지식 내용을 모두 정확히 반영한 이미지를 생성했습니다.
  • 반면, 기존 방법들은 지식이 포함된 프롬프트에서 개념이 왜곡되거나 지식이 반영되지 않는 오류를 보였습니다.
• 확장성:
  • 가상 개념 생성: 시각적 속성을 설명하여 모델 내에 새로운 가상 개념을 생성 가능했습니다.
  • 개념 소거 (Concept Erasure): 특정 개념의 속성 (예: Taylor Swift 의 머리카락 색) 을 수정하여 해당 개념의 생성을 방지할 수 있었습니다.
  • 세계 지식 향상: WISE 벤치마크에서 모델의 세계 지식 기반 생성 능력을 향상시켰습니다.

5. 의의 및 결론 (Significance)

MoKus 는 생성형 AI 가 단순한 이미지 모방을 넘어, 사용자의 복잡한 지식 요구사항을 이해하고 반영할 수 있는 새로운 패러다임을 제시합니다.

• 기술적 혁신: 텍스트 인코더의 지식 업데이트가 이미지 생성 품질로 직접 전이된다는 '교차 모달 지식 전이' 메커니즘을 입증했습니다.
• 실용성: 사진 블로그, 만화 제작 등 사용자 친화적인 커스터마이징 콘텐츠 생성에 직접적으로 적용 가능하며, 가상 개념 생성 및 윤리적 개념 소거 등 다양한 응용 분야로 확장 가능합니다.
• 미래 방향: 이 연구는 비디오 도메인 확장, 더 정교한 평가 지표 개발, 그리고 엔드 - 투 - 엔드 지식 인식 커스터마이징 방법론 개발의 기반을 마련했습니다.

요약하자면, MoKus 는 희귀 토큰의 한계를 극복하고, 자연어 지식을 시각 생성에 효과적으로 통합하여 더욱 지능적이고 유연한 커스터마이징을 가능하게 하는 획기적인 프레임워크입니다.