RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers

이 논문은 Diffusion Transformer 의 각 레이어별 제어 정보 관련성을 분석하여 불필요한 파라미터와 연산을 줄이고, 2 차원 셔플 믹서 (TDSM) 를 도입해 PixArt-delta 대비 15% 의 파라미터와 연산량으로 효율적이면서도 우수한 제어 생성 성능을 달성하는 'RelaCtrl' 프레임워크를 제안합니다.

핵심

🎨 그림을 그리는 AI 의 '효율적인 지휘자'가 된 RelaCtrl

이 논문은 **"Diffusion Transformer(디퓨전 트랜스포머)"**라는 최신 AI 그림 그리기 기술에 대해 이야기합니다. 이 기술은 텍스트를 보고 사진을 만들거나, 동영상을 생성하는 데 매우 강력하지만, 특정 조건 (예: 엣지, 깊이, 마스크 등) 을 맞춰 그림을 그리는 '제어' 기능을 추가할 때 문제가 생깁니다.

기존 방식은 무조건 무겁고 비효율적이었습니다. 이 논문은 이를 해결하기 위해 **"RelaCtrl"**이라는 새로운 방법을 제안합니다.

---

1. 문제점: "무조건 다 복사하는" 비효율적인 방식

기존의 AI 그림 제어 기술 (예: PixArt-δ) 은 마치 오케스트라 지휘자가 모든 악기 파트를 두 배로 늘리는 것과 비슷했습니다.

• 상황: AI 가 그림을 그릴 때, "강아지 그림을 그려줘"라는 명령 (조건) 을 받으면, 기존 방식은 AI 의 뇌 (네트워크) 를 그대로 복사해서 조건을 처리하는 별도의 뇌를 만들었습니다.
• 문제: 이렇게 하면 AI 의 크기와 계산량이 50% 이상 폭증합니다. 마치 작은 식당에 손님 1 명을 위해 요리사 10 명을 모두 고용하는 것과 같아서, 비용이 너무 많이 들고 느려집니다.
• 더 큰 문제: 모든 층 (Layer) 에 똑같은 양의 인력을 투입했습니다. 하지만 실제로는 어떤 층은 조건에 매우 민감하고, 어떤 층은 조건과 거의 상관없음이 드러났습니다.

2. 해결책 1: "어디에 집중할지 아는" 지능형 배치 (Relevance-Guided)

저자들은 먼저 **"ControlNet Relevance Score(제어망 관련성 점수)"**라는 실험을 통해 AI 의 뇌가 그림을 그릴 때, 어떤 단계에서 조건 정보가 가장 중요한지를 파악했습니다.

• 비유: 그림을 그릴 때, 초반과 중반에 구도와 윤곽을 잡는 것이 가장 중요하고, 마지막 단계는 세부적인 채색만 하면 된다는 사실을 발견했습니다.
• 해결: 그래서 가장 중요한 11 개의 단계 (층) 에만 조건을 처리하는 인력을 배치하고, 중요도가 낮은 깊은 층에는 아예 인력을 두지 않았습니다.
• 결과: 전체 인력 (파라미터) 을 15% 만 추가해도, 기존에 50% 를 추가했을 때와 똑같은 퀄리티의 그림을 그릴 수 있게 되었습니다.

3. 해결책 2: "썰어 섞는" 초고속 처리기 (TDSM)

중요한 단계에 인력을 배치했다면, 그 인력이 하는 일도 가볍게 만들어야 합니다. 기존 방식은 복잡한 계산 (Self-Attention, FFN) 을 모두 수행했는데, 이는 모든 정보를 다 뒤적여보는 방식이라 느렸습니다.

• 새로운 도구 (TDSM): 저자들은 **"2 차원 셔플 믹서 (Two-Dimensional Shuffle Mixer)"**라는 새로운 도구를 개발했습니다.
• 비유:
  • 기존 방식: 책상 위에 있는 모든 카드 (정보) 를 한 장씩 꺼내서 서로 비교하며 정렬하는 것. (매우 느림)
  • TDSM 방식: 카드를 랜덤하게 몇 묶음으로 나누고, 묶음 안의 카드들을 뒤섞어서 (Shuffle) 빠르게 비교한 뒤, 다시 원래 자리로 돌려놓는 것.
• 효과: 이 방식은 로컬 (국소) 한 정보만 보는 한계를 깨고, 멀리 떨어진 정보들도 효율적으로 연결할 수 있게 합니다. 마치 바둑판의 돌들을 무작위로 섞어서 새로운 전략을 빠르게 세우는 것과 같습니다.

4. 최종 결과: "적은 비용, 높은 퀄리티"

이 두 가지 전략 (중요한 곳에만 집중 + 가볍고 빠른 처리기) 을 합친 RelaCtrl은 다음과 같은 성과를 냈습니다.

• 비용 절감: 기존 방식 (PixArt-δ) 대비 파라미터는 15%, **계산량은 8.6%**만 증가시켰습니다. (기존은 50% 증가)
• 성능 유지: 비용은 줄였지만, 그림의 퀄리티와 조건 준수 정확도는 기존 최고 수준과 동일하거나 더 좋습니다.
• 다양한 적용: 엣지 (Canny), 깊이 (Depth), 분할 (Segmentation) 등 다양한 조건에서도 뛰어난 성능을 발휘했습니다.

📝 한 줄 요약

"AI 가 그림을 그릴 때, 모든 단계에 무작정 인력을 투입하는 대신, 가장 중요한 순간에만 집중하고 (Relevance-Guided), 그 인력도 가볍고 빠르게 움직이게 (TDSM) 하여, 적은 비용으로 최고의 그림을 만들어내는 지혜로운 방법입니다."

이 기술은 AI 그림 생성이 더 저렴하고 빠르게, 그리고 더 널리 보급되는 데 큰 기여를 할 것으로 기대됩니다.

기술 요약

1. 문제 제기 (Problem)

Diffusion Transformer (DiT) 는 텍스트 - 이미지 및 텍스트 - 비디오 생성 분야에서 뛰어난 확장성과 성능을 보이고 있습니다. 그러나 기존 DiT 기반의 제어 생성 (Controllable Generation) 방법론은 다음과 같은 두 가지 주요 한계를 가지고 있습니다.

• 높은 계산 및 파라미터 오버헤드: 기존 방법 (예: PixArt-δ) 은 제어 정보를 주입하기 위해 네트워크의 앞쪽 블록을 그대로 복제 (Copy) 하는 방식을 사용합니다. 이는 모델 파라미터 수와 계산 복잡도를 50% 이상 증가시켜 훈련 및 추론 비용을 과도하게 높입니다.
• 비효율적인 자원 할당: 제어 정보 (Control Information) 가 DiT 의 각 레이어에 미치는 영향력은 균일하지 않습니다. 기존 연구들은 이러한 레이어별 '관련성 (Relevance)'의 차이를 고려하지 않고 모든 레이어에 동일한 제어 구조를 적용하여, 중요도가 낮은 레이어에서 불필요한 계산 자원이 낭비되는 비효율성을 초래합니다.

2. 방법론 (Methodology)

저자들은 RelaCtrl(Relevance-Guided Efficient Controllable Generation) 프레임워크를 제안하여 위 문제를 해결합니다. 핵심 구성 요소는 다음과 같습니다.

가. 제어 정보 관련성 분석 (ControlNet Relevance Score)

• DiT 의 각 레이어가 제어 정보에 얼마나 민감한지 정량화하기 위해 ControlNet Relevance Score (CRS) 를 도입했습니다.
• 추론 과정에서 각 제어 블록을 순차적으로 생략 (Skip) 하고 생성 품질 (FID) 과 제어 정확도 (HDD) 의 변화를 측정하여 점수를 산출합니다.
• 발견: 제어 정보의 관련성은 네트워크 깊이에 따라 선형적으로 변하지 않습니다. 초기중간 레이어 (예: 블록 57) 에서 관련성이 가장 높고, 깊은 레이어로 갈수록 관련성이 감소하는 경향을 보입니다.

나. 관련성 기반 제어 블록 배치 (Relevance-Guided Placement)

• CRS 점수를 기반으로 가장 중요한 11 개의 레이어 위치만 선별하여 제어 블록을 배치합니다.
• 기존 PixArt-δ 가 13 개의 블록을 복제하는 것과 달리, 상위 11 개 위치에만 제어 블록을 삽입하여 불필요한 파라미터를 제거하면서도 동등한 성능을 유지합니다.

다. 경량화 제어 블록 및 TDSM (RGLC & TDSM)

• RGLC (Relevance-Guided Lightweight Control Block): 기존 제어 블록의 무거운 Self-Attention 과 FFN 을 대체하기 위해 설계된 경량 모듈입니다.
• TDSM (Two-Dimensional Shuffle Mixer):
  • 동작 원리: 토큰 (Token) 과 채널 (Channel) 차원 모두에서 무작위 선택 (Random Selection) 과 셔플 (Shuffle) 을 수행한 후, 국소적인 (Local) Self-Attention 을 계산합니다.
  • 역셔플 (Inverse Shuffle): 계산 후 토큰과 채널의 순서를 원래대로 복구하여 정보 손실을 방지합니다.
  • 효과: 국소 그룹화만으로는 불가능했던 비국소적 (Non-local) 상호작용을 채널 - 토큰 차원에서 효율적으로 모델링하며, 파라미터와 연산량을 대폭 줄입니다.
  • 적응형 설계: 레이어별 관련성 (CRS) 에 따라 TDSM 의 채널 분할 그룹 수를 조절합니다. 관련성이 높은 레이어는 그룹 수를 줄여 특징 차원을 확장하여 모델링 능력을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 레이어별 제어 관련성 규명: DiT 구조에서 제어 신호에 가장 민감한 레이어가 초기~중간층에 집중되어 있음을 실험적으로 증명했습니다.
2. RelaCtrl 전략 제안: 관련성 분석을 기반으로 제어 블록의 배치 위치와 모델링 능력을 동적으로 할당하는 효율적인 전략을 제시했습니다.
3. TDSM 설계: Self-Attention 과 FFN 을 대체하는 2 차원 셔플 믹서를 제안하여, 국소적 그룹화의 한계를 극복하고 효율적인 토큰/채널 혼합을 가능하게 했습니다.
4. 성능과 효율성의 동시 달성: 다양한 조건부 생성 작업에서 최첨단 성능을 유지하면서, 기존 방법 대비 파라미터와 계산 복잡도를 획기적으로 줄였습니다.

4. 실험 결과 (Results)

• 성능: COCO 검증 세트 및 다양한 조건 (Canny, HED, Depth, Segmentation) 에서 PixArt-δ 및 다른 SOTA 방법 (Uni-ControlNet 등) 과 비교 실험을 수행했습니다.
  • 제어 정확도 (HDD, mIoU): PixArt-δ 보다 우수한 또는 동등한 성능을 기록했습니다.
  • 생성 품질 (FID, CLIP Score): 텍스트 일관성과 시각적 충실도에서 최상위권을 유지했습니다.
• 효율성:
  • 파라미터: PixArt-δ 대비 약 15% 만의 파라미터 증가로 동등한 성능 달성 (전체 파라미터 대비 7.4% 증가).
  • 계산 복잡도 (GFLOPs): 약 8.6% 증가에 그쳤습니다.
  • 추론 시간: 주요 네트워크 속도에 영향을 받아 두 방법 모두 유사한 추론 시간을 보였으나, 자원 소모 측면에서 RelaCtrl 이 압도적으로 효율적입니다.

5. 의의 및 결론 (Significance)

이 논문은 Diffusion Transformer 기반의 제어 생성 분야에서 자원 효율성과 성능 사이의 균형을 잡은 새로운 패러다임을 제시합니다.

• 단순히 네트워크를 복제하는 방식이 아닌, 어떤 레이어에 제어 정보가 필요한지를 분석하여 자원을 집중하는 '지능형 할당'의 중요성을 강조했습니다.
• 제안된 TDSM은 Transformer 의 토큰/채널 믹싱 메커니즘을 효율적으로 재설계하여, 경량화하면서도 비국소적 상호작용을 유지할 수 있음을 증명했습니다.
• 이 연구는 고해상도 이미지 생성 및 실시간 애플리케이션을 위한 경량 제어 생성 모델 개발에 중요한 기초를 제공하며, 향후 DiT 기반 생성 모델의 최적화 연구에 귀중한 통찰을 줍니다.