🤖 machine learning

Regularizing modality contribution drift in multimodal continual learning

이 논문은 멀티모달 연속 학습에서 태스크 전반에 걸쳐 양식 간의 상대적 중요성이 변화하는 현상인 '양식 기여 드리프트(Modality Contribution Drift, MCD)'를 중요한 문제로 식별 및 정량화하고, 양식 기여 구조를 보존하고 망각을 완화하기 위해 리플레이 기반 및 리플레이 프리 변형을 모두 포함하는 새로운 정규화 프레임워크(CMCDR)를 제안한다.

원저자: Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 단순히 사진만 보여주는 것이 아니라, 개가 짖는 영상, 사이렌 소리 녹음, 혹은 설명이 곁들여진 일몰 사진과 같은 완전한 감각적 경험을 제공하는 것입니다. 이것을 **멀티모달 학습(multimodal learning)**이라고 합니다. 로봇은 이러한 서로 다른 '감각'(시각과 청각 등)을 결합하여 현명한 결정을 내리는 법을 배웁니다. 하지만 까다로운 점이 있습니다. 세상은 끊임없이 변한다는 것입니다. 새로운 종류의 개, 새로운 소리, 새로운 질문들이 매일 나타납니다. 이것이 바로 **지속 학습(continual learning)**입니다. 로봇은 기존의 것들을 잊지 않으면서 새로운 것을 계속 배워야 합니다.

이것을 일련의 시험을 치르는 학생에 비유해 봅시다. 먼저 학생은 동물을 식별하는 법을 배웁니다. 그다음에는 탈것을 식별하는 법을 배웁니다. 똑똑한 학생이라면 트럭을 공부한다고 해서 고양이를 알아보는 법을 잊어버려서는 안 됩니다. 과거에 과학자들은 로봇의 '두뇌'(내부 표현)가 일관성을 유지하도록 함으로써 이 문제를 해결하려 노력했습니다. 그들은 로봇이 고양이와 트럭을 볼 때 내부 체계가 엉키지 않기를 바랐습니다. 하지만 이 논문은 로봇의 내부 지도를 안정적으로 유지하는 것만으로는 충분하지 않다고 제안합니다. 진짜 문제는 로봇이 최종 결정을 내리기 위해 그 지도를 어떻게 사용하느냐 하는 것입니다. 로봇은 주로 보이는 것에 의존할까요? 아니면 소리에 더 귀를 기울일까요? 만약 로봇이 더 많이 들어야 하는 새로운 과제를 배우게 된다면, 이전에 의존했던 시각적 단서들을 실수로 무시하기 시작할 수도 있습니다. 이 논문은 이러한 변화를 **양식 기여도 드리프트(Modality Contribution Drift)**라고 부릅니다. 이는 마치 어떤 학생이 새로운 과목을 배운 후, 예전에 쓰지 않았던 직감에 의존해 이전 수학 문제의 답을 추측하다가 실수를 저지르는 것과 같습니다.

사우스웨스트 자오통 대학교(Southwest Jiaotong University)의 장전(Zhen Zhang)과 연구팀은 현재의 방식들이 이러한 특정 유형의 망각을 놓치고 있다는 점을 발견했습니다. 그들은 로봇의 이미지와 소리에 대한 내부 이해가 그대로 유지되더라도, 선택을 내리기 위해 각 입력을 조절하는 '가중치'가 변하고 있다는 것을 발견했습니다. 이를 해결하기 위해 그들은 **지속적 양식 기여도 드리프트 규제(CMCDR, Continual Modality Contribution Drift Regularization)**라는 새로운 방법을 발명했습니다.

CMCDR을 로봇을 위한 엄격한 '결정 코치'라고 생각해 보세요. 로봇이 새로운 과제를 배울 때, 이 코치는 다음과 같이 확인합니다. "잠깐, 예전에 그 문제를 어떻게 풀었는지 기억해 봐. 너는 정답을 맞히기 위해 특정 감각의 조합에 의존했었어. 새로운 것을 배웠다고 해서 그 레시피를 바꾸지 마." 이 방법은 두 가지 방식으로 작동합니다. 만약 로봇에게 예전 사례들이 담긴 메모리 뱅크가 있다면(재생 기반), 코치는 로봇에게 그 예전 사례들을 테스트하여 여전히 적절한 감각의 조합을 사용하고 있는지 확인합니다. 만약 로서에게 예전 사례가 없다면(재생 불필요 방식), 코치는 새로운 사례들을 테스트 베드로 사용하여, 로봇에게 예전 문제를 푸는 것처럼 행동하게 하고 원래의 전략에서 벗어나지 않는지 확인합니다.

연구팀은 비디오 속의 소리를 인식하거나 이미지에 대한 질문에 답하는 오디오-비주얼 작업 등 여러 도전적인 데이터셋을 통해 이 아이디어를 테스트했습니다. 그들은 단순히 기존 방식에 이 '코치'를 추가하는 것만으로도 큰 차이를 만든다는 것을 발견했습니다. 예를 들어, AVE라는 데이터셋에서 CMCDR을 표준 방식인 iCaRL에 추가했을 때, 로봇의 평균 정확도는 64.20%에서 71.90%로 높아졌고, 망각률은 절반(25.60%에서 17.40%로) 줄어들었습니다. 더욱 흥미롭게도, CMCDR은 로봇의 내부 뇌를 안정시키려는 다른 방법들과 함께 작동할 수 있음을 보여주었습니다. 이는 마치 한 코치가 로봇의 뇌를 정리하는 동안, 다른 코치가 결정 과정을 바로잡는 것과 같으며, 둘이 함께할 때 각자보다 더 나은 성과를 낸다는 것을 의미합니다.

이 논문은 이러한 '드리프트'가 이전의 방식들이 완전히 다루지 못한 실제적이고 별개의 문제임을 시사합니다. 연구진은 로봇의 내부 특징을 안정적으로 유지하는 것(예를 들어 고양이를 보는 방식을 동일하게 유지하는 것)이 반드시 동일한 결정(시각에 의존할지 청각에 의존할지)을 보장하지는 않는다는 것을 실험을 통해 증명했습니다. 각 감각의 기여도를 직접 규제함으로써, 그들은 로봇이 기존의 의사결정 습관을 잃지 않으면서도 새로운 것을 배울 수 있음을 보여주었습니다. 이것은 단순한 미세 조정이 아닙니다. 이는 기계가 단순히 사실을 기억하는 것을 넘어, 처음에 어떻게 그 사실을 알아냈는지 그 '방법'까지 기억하도록 만드는 지속적 학습의 새로운 원칙입니다.

기술 요약: 멀티모달 지속 학습에서의 모달리티 기여도 드리프트 정규화

1. 문제 정의: 모달리티 기여도 드리프트 (Modality Contribution Drift, MCD)

멀티모달 지속 학습(Multimodal Continual Learning, MMCL)은 순차적인 멀티모달 데이터로부터 새로운 지식을 학습하는 동시에 이전에 습득한 지식을 보존하는 것을 목표로 한다. 기존 방법들은 주로 교차 모달 표현을 정렬하거나 연속적인 단계 간의 의미적 유사성을 보존함으로써 파괴적 망각(catastrophic forgetting)을 완화하는 데 집중해 왔다. 그러나 저자들은 핵심적이고 미개척된 실패 모드인 **모달리티 기여도 드리프트(MCD)**를 식별하였다.

표현 정렬(representation alignment)이 특징 공간(feature space)을 안정적으로 유지할 수는 있지만, 개별 모달리티(예: 오디오, 비주얼)와 그 상호작용이 의사결정에 기여하는 상대적 기여도가 안정적으로 유지됨을 보장하지는 않는다. 서로 다른 태스크들은 종종 구별되는 모달리티 의존성(예: 도로 횡단 태스크는 시각적 단서에 크게 의고, 질의응답 태스크는 오디오-비주얼 결합 추론을 필요로 함)을 가진다. 모델이 서로 다른 의존성 패턴을 가진 새로운 태스크를 학습할 때, 이전에 학습된 태스크의 의사결정 수준의 기여 구조를 변화시킬 수 있으며, 이는 근본적인 표현이 안정적으로 보이더라도 망각을 유발할 수 있다.

저자들은 MCD를 이전에 학습된 태스크의 기여 강도(이득의 크기)와 상대적 의존도(모달리티 간 증거 분포)의 변화로 공식화한다. 또한 기존의 지속 학습 메커니즘(리플레이 및 증류 등)과 표현 안정성 기반 방법(교차 모달 정렬 등)이 반드시 이 드리프트를 방지하지 못한다는 점을 이론적, 경험적으로 입증한다.

2. 방법론: 지속적 모달리티 기여도 드리프트 정규화 (CMCDR)

MCD를 해결하기 위해 저자들은 새로운 의존성에 적응하면서도 이전에 학습된 태스크의 모달리티 기여 구조를 보존하도록 설계된 프레임워크인 **지속적 모달리티 기여도 드리프트 정규화(CMCDR)**를 제안한다.

핵심 메커니즘: 개입 기반 추정 (Intervention-Based Estimation)
이 방법은 개입 기반 진단 추정기에 의존한다. 모달리티의 부분 집합을 체계적으로 제거(부재 심볼 $\perp$ 로 대체)하고 그에 따른 예측 이득(log-odds margin)의 변화를 측정함으로써, 모델은 **기여 프로필(contribution profile)**을 계산한다. 이 프로필은 뫼비우스 변환(Möbius transform)을 사용하여 전체 입력 이득을 개별 모달리티 및 그 상호작용에 대한 특정 항으로 분해한다.

두 가지 CMCDR 변형
프레임워크는 이전 엑스플라너(exemplar)의 가용성에 따라 두 가지 MMCL 설정에 적응한다:

리플레이 기반 CMCDR (Replay-Based CMCDR):
- 문맥: 과거 샘플이 사용 가능한 경우.
- 메커니즘: 저장된 과거 샘플에 대해 현재 모델을 동결된 이전 모델과 비교한다.
- 제약 조건: 현재 모델의 기여 프로필과 동일한 정답 레이블에 대한 동결된 모델의 프로필 사이의 거리를 최소화한다. 이는 모달리티별 기여와 상호작용 기여 모두의 변화를 제약한다.
리플레이 프리 CMCDR (Replay-Free CMCDR):
- 문맥: 과거 샘플을 사용할 수 없는 경우.
- 메커니즘: 현재 태스크의 샘플을 "프로브(probe)"로 사용하여 이전 태스크의 의사결정 공간을 쿼리한다.
- 제약 조건: 현재 모델이 과거 클래스의 로짓(logit)에 대해 동결된 이전 모델의 기여 응답과 일치하도록 정규화한다. 약한 티처(teacher) 응답으로부터 발생하는 노이즈를 피하기 위해, 기여 프로필은 과거 클래스 출력 공간에 대한 동결된 모델의 전체 모달리티 확률에 의해 가중치가 부여된다.

손실 함수 (Loss Function)
정규화 손실( $L_{cmcdr}$ )은 두 가지 항을 결합한다:

절대적 일치 (Absolute Matching): 원시 기여 벡터 간의 차이를 최소화한다.
상대적 일치 (Relative Matching): 모달리티 간의 상대적 의존 패턴을 보존하기 위해 정규화된(스케일 조정된) 기여 벡터 간의 차이를 최소화한다.

3. 주요 기여

문제 식별: 논문은 **모달리티 기여도 드리프트(MCD)**를 공식적으로 정의하고 정량화하여, 교차 모달 표현이 정렬되어 있더라도 지속되는 MMCL의 독특한 망각 원인을 식별하였다.
이론적 통찰: 저자들은 다음을 입증하는 이론적 증명(Proposition 1, 2)을 제공한다:
- 충분히 큰 음의 기여 변화는 보유 마진(retention margin)을 고갈시켜 망각을 일으킬 수 있다.
- 표현 안정성(특징 맵을 제약하는 것)은 결정 맵(decision map)이 특징 맵과 독립적으로 이동할 수 있기 때문에 기여 안정성을 보장하기에 불충분하다.
방법론적 제안: 모달리티 기여 구조의 진화를 명시적으로 제약하는 플러그 앤 플레이(plug-and-play) 정규화 도구로서, 리플레이 기반 및 리플레이 프리 버전 모두를 갖춘 CMCDR을 도입하였다.
상보성: 본 연구는 CMCDR이 표현 정렬과 구별되는 실패 모드를 다루며, 기존 방법과 결합했을 때 상보적인 이점을 제공함을 보여준다.

4. 실험 결과

저자들은 AVE, Kinetics-Sounds, UESTC-MMEA-CL에서의 멀티모달 클래스 증분 학습과 VQAv2, Split-AVQA, Split-MUSIC-AVQA에서의 지속적 시각 질의응답(VQA)에서 CMCDR을 평가하였다.

성능 향상: CMCDR은 다양한 베이스라인(예: LwF, EWC, iCaRL, AV-CIL) 전반에서 평균 정확도를 일관되게 향상시켰으며(2.13% ~ 7.70% 향상), 평균 망각을 감소시켰다(0.85% ~ 11.55% 감소).
드리프트 감소: 이 방법은 MCD 점수를 유의미하게 감소시켜, 원래의 모달리티 의존 구조를 더 잘 보존함을 나타냈다.
상보성: 표현 정렬 방법(RepAlign, CrossSDC)과 결합했을 때, CMCDR은 정확도 및 망각 감소 측면에서 추가적인 개선을 제공하였으며, 이는 표현 안정성과 기여 안정성이 상보적인 목표임을 확인시켜 준다.
클래스별 분석: 결과에 따르면, 높은 베이스라인 MCD(높은 초기 드리프트)를 가진 클래스들이 CMCDR으로부터 가장 큰 혜택을 받았으며, 더 강력한 드리프트 감소와 정확도 보존을 보였다.

5. 의의 및 주장

본 논문은 모달리티 기여도 안정성이 멀티모달 지속 학습에서 표현 안정성에 대한 필수적이고 상보적인 원칙이라고 주장한다. 저자들은 교차 모달 기하학(geometry)을 보존하는 것만으로는 충분하지 않은데, 이는 모달리티와 그 상호작용이 개별 의사결정을 어떻게 지원하는지를 제약하지 않기 때문이다.

진단 지표(MCD)와 정규화 프레임워크(CMCDR)를 도입함으로써, 본 연구는 모달리티 의존성의 진화를 명시적으로 관리하는 메커니즘을 제공한다. 저자들은 CMCDR을 다양한 MMCL 벤치마크와 설정에서 성능을 향상시키는 일반화 가능한 솔루션으로 포지셔닝하며, 많은 모달리티를 가진 시스템을 위한 확장 가능한 코리션 근사(coalition approximation) 연구를 촉진한다. 이 연구는 모든 MMCL 문제를 해결한다고 주장하는 것이 아니라, 표현 안정성과 의사결정 수준의 기여 안정성 사이의 간극을 구체적으로 타겟팅한다.