기술 요약: MixCompress

문제 정의

학습된 이미지 압축(Learned Image Compression, LIC)은 비선형 변환과 엔트로피 모델을 공동으로 최적화함으로써 높은 성능을 달 achievement했습니다. 그러나 최첨단 LIC 모델들은 일반적으로 각 레이트-왜곡(rate-distortion) 동작 지점마다 별도로 독립적으로 학습된 네트워크를 필요로 합니다. 이는 상당한 저장 공간 오버헤드, 증가된 학습 비용, 그리고 배포 복잡성을 초래합니다.

기존의 가변 비트레이트(Variable Bit-Rate, VBR) 접근 방식들은 하나의 공유된 덴스 백본(dense backbone)에 레이트 파라미터(예: 레이트 게인 스케일링 또는 아핀 변환을 통한)를 조건화하여 이러한 동작 지점들을 하나의 모델로 통합하려고 시도합니다. 본 논문은 이 "덴스 파라미터 변조(dense parameter modulation)" 전략의 근본적인 결함인 **그래디언트 충돌(gradient conflict)**을 식별합니다.

• 충돌: 저비트레이트 최적화는 비트레이트를 줄이기 위해 공격적인 평활화(smoothing)를 요구하는 반면, 고비트레이트 최적화는 고주파 텍스처 디테일을 보존할 것을 요구합니다.
• 결과: 공유된 백본이 이러한 상충하는 매핑을 근사하도록 강제하면 "특징 얽힘(feature entanglement)"이 발생합니다. 저레이트 샘플로부터의 그래디언트는 고충실도 재구성에 필요한 파라미터와 파괴적으로 간섭하며, 이는 개별적으로 최적화된 단일 레이트 모델에 미치지 못하는 하위 최적의 성능으로 이어집니다.

방법론

저자들은 덴스 파라미터 변조를 **희소 구조적 특화(sparse structural specialization)**로 대체하는 통합 VBR 프레임워크인 MixCompress를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소를 통합합니다.

1. 희소 구조적 라우팅 (MoE 및 MoD)

모든 파라미터를 변조하는 대신, MixCompress는 분석 변환(analysis transform), 합성 변환(synthesis transform), 그리고 하이퍼 프라이어(hyper-prior) 네트워크의 병목 레이어를 혼합 전문가(Mixture-of-Experts, MoE) 모듈로 교체합니다.

• 메커니즘: 레이트 임베딩($\lambda_e$)에 의해서만 조건화되는 게이팅 네트워크가 입력 특징을 전체 $N$개의 전문가 중 $K$개의 전문가 부분 집합으로 라우팅합니다.
• 공유 전문가: 전역 공유 전문가($E_{global}$)는 보편적으로 유용한 특징을 위한 안정적인 정보 흐름을 보장하기 위해 항상 활성화됩니다.
• 그래디언트 완화: 서로 다른 레이트의 최적화 궤적을 별도의 전문가 서브스페이스로 격리함으로써, 프레임워크는 그래디언트 간섭을 완화합니다. 상충하는 레이트 간의 그래디언트 내적은 활성화된 전문가의 교집합에 의해 엄격히 제한되며, 이를 통해 최적화 역학을 직교성(orthogonality) 방향으로 이동시킵니다.
• 혼합 깊이 (Mixture-of-Depths, MoD): 고비트레이트의 증가된 표현 요구 사항을 해결하기 위해, 저자들은 MoD 확장을 도입합니다. 이 변형에서는 전문가가 단순히 파라미터 측면에서 특화될 뿐만 아니라 깊이 측면에서도 특화됩니다. 고레이트 샘플은 더 깊고 복잡한 전문가 네트워크(Stacked Bi-RWKV 또는 컨볼루션 블록)로 라우팅되어, 타겟 레이트에 따라 모델 용량을 동적으로 조절합니다.

2. 조건부 보조 변환 (Conditional Auxiliary Transforms, CAT)

구조적 라우팅을 보완하기 위해, 저자들은 웨이브렛 기반 숏컷(AuxT)의 확장인 **조건부 보 auxiliary 변환(CAT)**을 도입합니다.

• 기능: CAT는 중간 특징에 대해 2D Haar 이산 웨이브렛 변환(DWT)을 수행하여, 이를 주파수 서브 밴드(LL, LH, HL, HH)로 분해합니다.
• 레이트 적응성: 정적 숏컷과 달리, CAT는 레이트 임베딩 $\lambda_e$에 조건화된 FiLM(Feature-wise Linear Modulation) 헤드를 사용하여 스케일링 파라미터($\gamma_\lambda, \beta_\lambda$)를 생성합니다.
• 효과: 이를 통해 서브 밴드 에너지의 동적 변조가 가능해집니다. 저레이트 영역은 더 강력한 에너지 압축의 이점을 얻는 한편, 고레이트 영역은 메인 엔트로피 모델이나 산술 코딩 파이프라인을 변경하지 않고도 더 미세한 디테일을 보존합니다.

3. 추론 효율성

핵적인 설계 제약 조건은 게이팅 네트워크와 CAT 변조가 입력 이미지 $x$와 독립적인 레이트 임베딩 $\lambda_e$에 엄격히 의존한다는 점입니다.

• 제로 오버헤드: 결과적으로, 전문가 선택 및 변조 파라미터는 추론 전 룩업 테이블(lookup table)에 미리 계산하여 캐싱할 수 있습니다. 이는 네트워크 파라미터를 이미지당 다시 계산할 필요가 없으므로, 실제 인코딩/디코딩 과정 중에 **라우팅 오버헤드가 제로(zero)**임을 의미합니다.

주요 기여

1. 통합 VBR 프레임워크: MixCompress는 단일 모델을 사용하면서도 개별적으로 최적화된 단일 레이트 베이스라인과 대등하거나 이를 능가하는 계산 효율적인 이미지 코딩의 새로운 파레토 프런티어(Pareto frontier)를 달성합니다.
2. 그래디언트 충돌 해결: 본 논문은 희소 구조적 라우팅(MoE/MoD)이 덴스 변조 방법의 고유한 그래디언트 간섭를 효과적으로 해결함을 보여줍니다. 이는 레이어별 그래디언트 코사인 유사성이 직교성을 향해 이동하는 분석을 통해 입증되었습니다.
3. 동적 용량 스케일링: MoD 확장은 고비트레이트 작업을 위해 (깊이를 통해) 표현 용량을 동적으로 확장할 수 있게 하여, 고정 용량 MoE 모델의 한계를 해결합니다.
4. 배포 효율성: 이 프레임워크는 저장 공간 오버헤드를 크게 줄입니다. 예를 들어, 단 하나의 MixCompress-MoD 모델은 6개의 독립적으로 학습된 단일 레이트 모델이 커버하는 동일한 레이트-왜곡 곡선을 커버하지만, 앙상블 모델에 필요한 약 397M 개의 파라미터와 비교했을 때 약 156M 개의 총 파라미터(패스당 약 120M 활성)만을 필요로 합니다.

실험 결과

저자들은 Kodak, CLIC (Professional validation/test), Tecnick 데이터셋에서 최첨단 단일 레이트 모델(LALIC, LIC-TCM, FAT) 및 덴스 VBR 베이스라인(QRAF, CondConv)을 대상으로 MixCompress를 평가했습니다.

• 단일 레이트 베이스라인 대비 성능: MixCompress 변형 모델들은 개별적으로 최적화된 단일 레이트 체크포인트와 지속적으로 대등하거나 이를 능가했습니다. 특히, MixCompress-LALIC-MoD는 VTM-23.1 대비 **CLIC Valid에서 -25.73%, CLIC Test에서 -28.71%, Tecnick에서 -28.88%**의 BD-rate 감소를 달성하여, 단일 레이트 LALIC 앵커를 상당한 차이로 앞질렀습니다.
• 덴스 VBR 대비 성능: 덴스 변조 베이스라인(QRAF, CondConv)은 상당한 성능 저하(단일 레이트 LALIC보다 3.7~12.0 퍼센트 포인트 더 낮음)를 겪었습니다. MixCompress는 이 격차를 효과적으로 좁혔으며, MoD 변형은 단일 레이트 대응 모델을 능가하기까지 했습니다.
• 시각적 품질: 시각적 비교 결과, 덴스 방식은 저레이트 그래디언트 간섭로 인한 과도한 평활화 때문에 고비트레이트에서 고주파 디테일(예: 가는 케이블)을 재구성하는 데 실패했습니다. 반면 MixCompress는 이러한 디테일을 성공적으로 보존했습니다.
• 효율성: 여러 레이트를 지원함에도 불구하고, MixCompress는 단일 레이트 모델과 동일한 총 시간 동안 학습되었습니다. 추론 지연 시간은 약간의 증가만 있었으며, 전체 모델에 대한 메모리 사용량은 여러 체크포인트를 저장하는 것에 비해 관리 가능한 수준으로 유지되었습니다.

의의 및 주장

본 논문은 **조건부 구조적 할당(conditional structural allocation)**이 가변 레이트 학습 이미지 압축을 위해 **덴스 가중치 변조(dense weight modulation)**보다 근본적으로 더 효과적이라고 주장합니다. 희소 게이팅과 동적 깊이 적응을 통해 경쟁하는 레이트 지점들의 최적화 궤적을 분리함으로써, MixCompress는 기존의 통합 VBR 모델을 제한해 온 "특징 얽힘" 문제를 해결합니다.

저자들은 이 접근 방식이 다양한 동작 지점에 걸쳐 학습된 압축의 잠재력을 완전히 실현하기 위해 단순한 파라미터 조건화보다 구조적 특화를 우선시해야 함을 시사하며, 계산 효율적인 새로운 표준을 구축한다고 단언합니다.