기술 요약: Tiny-Engram

문제 정의

생성형 비전 모델 (예: 텍스트-이미지 및 텍스트-비디오) 을 위한 현재 개인화 방법들은 일반적으로 연속 어댑터, 가중치 업데이트, 또는 학습된 토큰에 의존합니다. 새로운 개념을 인코딩하는 데 효과적이지만, 이러한 접근 방식들은 종종 명시적인 활성화 경계가 부족합니다. 지속적으로 활성화된 어댑터는 의도된 도메인 밖의 프롬프트에 부주의하게 영향을 미칠 수 있으며, 독립적으로 훈련된 모듈들이 결합될 때 예측 불가능하게 상호작용할 수 있습니다.

이 연구가 다루는 핵심 과제는 모듈식 적응을 달성하는 것입니다: 즉, 학습된 시각적 업데이트가 특정 등록된 텍스트 조건이 존재할 때 만 적용되도록 보장하고, 모든 일치하지 않는 입력은 원래 고정된 모델의 행동을 엄격히 따르도록 하는 것입니다. 이는 희귀한 트리거 구문을 시각적 개념에 결합하되 모델의 조건부 경로를 전역적으로 변경하지 않는 메커니즘이 필요합니다.

방법론

핵심 개념: 트리거 인덱싱 개념 테이블

Tiny-Engram 은 언어 모델을 위해 원래 제안된 "엔그램 (Engram)"원리를 생성형 비전을 위한 경량 파라미터 효율적 미세 조정 (PEFT) 모듈로 구현합니다. 전역적으로 활성화된 어댑터 대신, 이는 트리거 인덱싱 개념 테이블로 기능합니다:

1. 등록: 특정 n-그램 구문 (트리거) 이 등록됩니다.
2. 인덱싱: 런타임 시 시스템은 정확한 토큰-ID 조회를 수행합니다. 등록된 n-그램이 프롬프트에서 발견되면 학습된 메모리 벡터를 인덱싱합니다.
3. 지역화 주입: 검색된 벡터는 오직 일치하는 토큰 범위에서 만 텍스트 인코더의 은닉 상태를 수정합니다. 트리거가 존재하지 않으면 모델은 고정된 기본 경로를 정확히 따릅니다.

시각적 구현

이 방법은 텍스트-조건부 스트림에 잔차를 주입함으로써 고정된 이미지 및 비디오 생성기에 적용됩니다:

• 아키텍처: 이 접근 방식은 단일 인코더 모델 (SD1.5) 과 멀티 인코더 스택 (CLIP-L, OpenCLIP-G, T5 가 탑재된 SD3.5; T5 가 탑재된 Wan2.2) 을 지원합니다.
• 메모리 구조: 각 텍스트 인코더마다 개념 벡터의 작은 테이블이 학습됩니다. 트리거 구문은 토큰화되며, 트리거의 연속된 부분 범위 (n-그램) 로부터 멀티 스케일 등록부가 구축됩니다.
• 주입 메커니즘:
  • SD1.5: U-Net 교차 주의 (cross-attention) 이전 CLIP 토큰 상태에 절대적 스케일 잔차를 주입합니다.
  • SD3.5 및 Wan2.2: 상대 노름 주입 규칙을 사용합니다. 메모리 벡터는 방향을 제공하고, 학습된 스케일이 강도를 제한하며, 정규화 인자 ($\rho$) 가 현재 텍스트 스트림의 활성화 스케일에 상대적인 업데이트 크기를 보정합니다. 이는 서로 다른 은닉 상태 크기를 가진 이질적 인코더 간에 일관된 효과를 보장합니다.
• 훈련: 개념 벡터와 주입 스케일만 최적화됩니다. 백본 (VAE, U-Net/DiT, 텍스트 인코더) 은 고정된 상태로 유지됩니다. 손실 함수는 표준 확산 노이즈 예측 또는 정류 흐름 속도 목표입니다.

실험 설정

• 개념: 저자들은 허구의 공상과학 테마 트리거 구문 ("Aldric Vortex-9 CyberNebula") 을 특정 시각적 정체성 (Death Stranding의 주인공) 에 결합합니다. 이 선택은 트리거가 고정된 모델에 사전 존재하는 사전 지식이 없음을 보장하여, 엔그램 테이블이 바인딩을 처음부터 학습하도록 강제합니다.
• 데이터:
  • 이미지: 역공학을 통해 프롬프트로 변환된 다섯 개의 참조 이미지로, 주제 이름이 트리거로 대체되었습니다.
  • 비디오: Wan2.2 TI2V 를 사용한 예비 확장. 학습 클립은 이미지 - 프롬프트 쌍을 사용하여 고정된 Wan2.2 모델에 의해 생성되었으며, 정체성 세트의 시간적 확장을 교사 생성 방식으로 만들었습니다.

주요 기여

1. 트리거 인덱싱 공식화: 명시적 어휘 주소에 시각적 기억을 결합하여 이산적 활성화 경계를 보장하는 PEFT 모듈.
2. 텍스트 인코더 메모리 주입: 이미지/비디오 노이즈 제거 백본을 건드리지 않고 텍스트-조건부 상태를 수정함으로써 고정된 생성 백본을 개인화하는 방법.
3. 상대 노름 주입 규칙: 이질적 텍스트 인코더 스트림 (예: SD3.5 내) 과 다양한 컨텍스트 길이에서 메모리 주입이 효과적으로 기능하도록 하는 보정 기술.
4. 비디오 확장 연구: 텍스트 측 메모리를 비디오 확산에 적용하는 초기 조사로, 텍스트 활성화와 시간적 정체성 안정성 간의 격차를 명확히 함.

결과

이미지 생성 (SD1.5 및 SD3.5)

• 활성화 지역성: 이 방법은 학습된 시각적 정체성이 트리거 구문이 존재할 때 만 검색됨을 성공적으로 입증합니다. 트리거가 없는 프롬프트는 고정된 기본 모델과 동일한 출력을 생성합니다 (일치하는 시드 하에서 바이트 동일).
• 정체성 바인딩: SD1.5 와 SD3.5 모두에서, 트리거를 포함하는 프롬프트는 주변 장면, 조명, 그리고 프롬프트가 요청한 구도를 유지하면서 생성된 주제를 참조 정체성과 일치하도록 이동시킵니다.
• 성능: SD3.5 는 SD1.5 보다 더 강력한 결과를 제공하며, 더 많은 장면 충실도를 유지합니다. 멀티 인코더 주입과 상대 노름 스케일링은 SD3.5 아키텍처의 복잡성을 효과적으로 처리합니다.

비디오 생성 (Wan2.2)

• 활성화: 텍스트 측 엔그램 주입은 비디오에서 생성된 주제를 성공적으로 변경합니다. 트리거가 존재할 때, 출력은 일반적인 공상과학 인물에서 목표인 "긴 머리의 전술적"주제로 이동합니다.
• 한계: 트리거가 개념을 활성화하지만, 보류된 비디오 프롬프트에 걸친 세밀한 정체성 지속성은 제한적입니다. 이 방법은 주제 클래스나 실루엣에 편향을 줄 수 있지만, 다양한 장면과 시간적 시퀀스 전반에 걸쳐 특정 정체성 세부 사항을 신뢰성 있게 재구성하지는 못합니다. 저자들은 이를 정적 텍스트 측 메모리와 비디오 트랜스포머 내 진화하는 시각적 상태 간의 긴밀한 결합 부재로 귀인합니다.

중요성과 주장

이 논문은 Tiny-Engram 을 이미지 생성을 위한 실용적인 모듈식 시각적 개인화 경로로 위치시킵니다. 그 주요 중요성은 활성화 지역성을 확립하는 데 있습니다: 즉, 어휘 트리거에 의해 엄격하게 게이트된 기능을 추가하여 관련 없는 프롬프트와의 간섭을 방지하는 능력입니다.

저자들은 비디오 결과에 대해 겸손하게, 이를 완전한 해결책이 아닌 경계 사례로 제시합니다. 그들은 텍스트 측 메모리 주입이 비디오 생성을 유도할 수 있지만, 비디오에서 시간적으로 안정적인 정체성을 달성하려면 메모리와 진화하는 시각적 상태 간의 더 긴밀한 결합 (예: 비디오 백본이나 주의 메커니즘에 더 가까운 주입) 이 필요하며, 텍스트-조건부 인터페이스에만 의존해서는 안 된다고 결론지었습니다.

이 연구는 원시 정체성 충실도 지표 측면에서 기존 벤치마크 (DreamBooth 또는 LoRA 등) 를 능가한다고 주장하지 않습니다. 그러한 일치된 벤치마크 비교가 수행되지 않았기 때문입니다. 대신, 이는 모델 내에서 개인화가 어떻게 활성화되고 제어되는지에 대한 특정 아키텍처 접근 방식을 검증합니다.