기술 요약: 고도로 불균형한 다중 모달 데이터에 대한 동시 장미분류 및 다중 모달 융합

문제 제기

심층 신경망 (DNN) 은 클래스 불균형 데이터로 학습될 때 성능 저하를 겪는 경우가 많으며, 다수 클래스에 편향되어 소수 클래스에 대한 효과적인 표현을 학습하지 못합니다. 최근의 진전들은 장미분류 (long-tailed recognition) 를 해결했지만, 주로 단일 모달 입력으로 제한됩니다. 반면, 다중 모달 학습 접근법은 이미지 및 표 형식 데이터와 같은 이질적인 소스로부터 보완적 정보를 효과적으로 활용하지만, 클래스 불균형을 고려하는 경우는 드뭅니다.

의료 진단과 같은 실제 응용 분야에서 데이터셋은 종종 다중 모달이면서 동시에 장미분포를 띱니다. 예를 들어, 의료 기록에는 인구통계학적 및 임상적 병력이 포함된 이미지 데이터가 포함될 수 있지만, 특정 질환 (소수 클래스) 의 샘플은 건강한 사례에 비해 압도적으로 적습니다. 기존 프레임워크는 이러한 도전 과제들을 동시에 해결하지 못합니다: 자기지도식 다양한 전문가 집계 (SADE) 와 같은 다중 전문가 모델은 단일 모달 입력으로 제한되는 반면, 다중 모달 역동성 (MMD) 과 같은 다중 모달 융합 방법은 장미분포에 무관합니다. 본 논문은 데이터가 다중 모달이면서 동시에 고도로 불균형한 시나리오에서 견고한 인식을 가능하게 하는 이러한 격차를 해소하기 위한 통합 프레임워크를 제안합니다.

방법론

제안된 프레임워크는 분포 특화 다중 전문가 학습과 모달 인식 융합을 통합합니다. 아키텍처는 세 가지 주요 구성 요소로 구성됩니다:

1. 모달 인식 다중 전문가 백본

SADE 아키텍처를 기반으로, 이 방법은 세 가지 독립적인 전문가 네트워크 ($E_1, E_2, E_3$) 를 사용하며, 각각은 고유한 클래스 분포에 특화되어 있습니다:

• $E_1$ (Forward): 장미분포를 처리하기 위해 표준 소프트맥스 교차 엔트로피 손실 ($L_{ce}$) 로 학습됩니다.
• $E_2$ (Uniform): 균일 분포를 처리하기 위해 균형 잡힌 소프트맥스 손실 ($L_{bal}$) 로 학습됩니다.
• $E_3$ (Backward): 역장미분포를 처리하기 위해 역소프트맥스 손실 ($L_{inv}$) 로 학습됩니다.

단일 모달 입력을 처리하는 원래 SADE 와 달리, 이 프레임워크의 각 전문가 이질적 모달 (예: 이미지 및 표 형식 데이터) 의 입력을 처리하도록 재설계되었습니다. 이질적 모달의 입력은 모달별 서브네트워크를 통해 처리되어 각 전문가 내에서 통합된 잠재 표현으로 융합됩니다.

2. 모달 평가 및 가중치 부여 모듈

이질적 데이터를 효과적으로 융합하기 위해, 프레임워크는 MMD 에서 영감을 받은 분류기 모듈을 포함합니다. 이 모듈은 각 모달에 대한 **실제 클래스 확률 (TCP)**을 추정하는 모달별 네트워크를 포함합니다.

• 신뢰도 네트워크 ($g_m$) 는 각 모달 $m$에 대한 TCP 를 근사화하여 신뢰도 점수를 출력합니다.
• 이러한 점수는 동적 가중치로 작용하여 융합 전에 각 모달의 특징 표현에 기여도를 조절합니다.
• 이 메커니즘은 입력 샘플과 클래스 분포 모두에 조건부로 더 많은 정보를 제공하는 모달이 최종 결정에 더 강하게 기여하도록 보장합니다.

3. 학습 및 테스트 절차

학습 및 테스트 전략은 데이터 증강의 실현 가능성에 따라 모달의 특성에 따라 다릅니다:

• 사례 1: 완전 이미지 기반 모달: 이 방법은 SADE 와 유사한 테스트 시간 학습 전략을 채택합니다. 각 테스트 샘플에 대해 두 가지 확률적 증강이 생성됩니다. 두 가지 증강된 뷰 간의 예측 안정성을 최대화함으로써 세 가지 전문가를 결합하기 위한 집계 가중치 ($w_1, w_2, w_3$) 가 자기지도 방식으로 최적화됩니다.
• 사례 2: 혼합 이미지 및 표 형식 모달: 표 형식 데이터에 대한 비교 가능한 확률적 증강을 생성하는 것은 종종 불가능하며 성능을 저하시킬 수 있으므로, 테스트 시간 학습 전략은 대체됩니다. 대신, 집계 가중치는 학습 단계 동안만 정답 레이블과 표준 소프트맥스 교차 엔트로피 손실을 사용하여 최적화됩니다. 이는 동일한 환경에서 수집된 데이터에 대한 합리적인 가정인 학습 및 테스트 데이터셋이 동일한 분포를 공유한다고 가정합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 통합 프레임워크: 다중 모달 입력과 클래스 불균형을 동시에 처리하며, 다중 전문가 학습과 모달 인식 집계를 통합한 새로운 장미분류 프레임워크.
2. 특화 절차: 입력 모달의 다양한 조합을 수용하고, 특히 비이미지 데이터에 테스트 시간 증강을 적용하는 것의 한계를 해결하기 위해 설계된 맞춤형 학습 및 테스트 전략.
3. 실증적 검증: MNIST, SVHN 과 같은 벤치마크 데이터셋과 SIIM-ISIC 흑색종 분류 챌린지와 같은 실제 의료 데이터셋에 대한 광범위한 평가를 통해 접근법의 효과성을 입증.

실험 결과

제안된 방법은 MMD, SADE, MMD-LA, SADE-LMF, M2LC-Net 을 포함한 여러 기준선과 비교하여 평가되었습니다.

• MNIST 및 SVHN (두 가지 이미지 모달): 제안된 방법은 F1 점수 측면에서 기준선보다 일관되게 우월했으며, 특히 높은 불균형 비율을 가진 역장미 테스트 분포 하에서 두드러졌습니다. 예를 들어, 학습 불균형 비율이 50 이고 역장미 테스트 분포인 경우, 제안된 방법은 MMD-LA 보다 F1 점수를 0.43, M2LC-Net 보다 0.51 향상시켰습니다. 또한 우수한 일반화 능력을 보여주어 경쟁력 있는 정확도를 유지하면서 소수 클래스의 성능을 크게 향상시켰습니다.
• SIIM-ISIC 흑색종 데이터셋 (이미지 및 표 형식 모달): 불균형 비율이 약 55.72 인 이 실제 의료 환경에서 제안된 방법은 비교된 모든 방법 중 가장 높은 F1 점수 (0.6012) 를 달성하여 다음으로 좋은 기준선 (SADE-LMF, 0.5629) 보다 0.04 를 상회했습니다. 분류 정확도는 다른 최상위 모델과 비교할 수 있었지만, F1 점수의 유의미한 향상은 악성 병변과 같은 소수 클래스를 더 잘 식별하는 모델의 능력을 강조합니다.
• 집계 가중치: 학습된 집계 가중치에 대한 분석은 제안된 방법이 테스트 데이터 분포와 논리적으로 일치하는 가중치를 할당함을 확인했습니다 (예: 장미 테스트에 대한 Forward 전문가에 더 높은 가중치 부여). 반면 SADE-LMF 와 같은 기준선 방법은 때때로 직관에 반하는 가중치를 할당했습니다.

중요성 및 주장

본 논문은 제안된 접근법이 주로 별개의 문제로 취급되어 온 클래스 불균형과 다중 모달 융합이라는 이중 과제를 효과적으로 해결한다고 주장합니다. 다중 전문가 프레임워크를 다중 모달 설정으로 확장하고 신뢰도 기반 가중치 부여 메커니즘을 도입함으로써, 이 방법은 다양한 테스트 시간 분포 전반에 걸쳐 견고성을 달성합니다.

저자들은 제안된 방법이 소수 클래스 성능을 위해 분류 정확도를 희생하지 않으며, 오히려 보이지 않는 비균일 데이터 분포에 대한 일반화를 향상시킨다고 강조합니다. 실현 불가능한 테스트 시간 증강에 의존하지 않고 혼합 모달 (이미지 및 표 형식 데이터) 을 처리할 수 있는 능력은 데이터 이질성과 불균형이 공존하는 실제 응용 분야에서 중요한 진전으로 제시됩니다. 이 작업은 제한된 레이블 데이터가 있는 시나리오를 더 잘 해결하기 위해 향후 노력에서 이 프레임워크를 준지도 설정으로 확장하는 것을 목표로 한다고 결론지었습니다.