기술 요약: 코호트 기반 활성 모달리티 획득 (CAMA)

문제 정의

실제 세계의 멀티모달 머신러닝은 종종 특정 데이터 모달리티가 누락되었거나, 획득 비용이 높거나, 획득이 침습적인 제약 조건 하에서 운영됩니다. 기존 패러다임인 활성 학습 (AL), 활성 특징 획득 (AFA), 활성 모달리티 획득 (AMA) 은 개별 샘플 (주로 학습 중 또는 테스트 시간 샘플 수준) 에 대한 획득을 최적화하는 데 중점을 두지만, 코호트 수준의 자원 할당이라는 특정 과제를 해결하지 못하는 경우가 많습니다.

의료와 같은 많은 실제 시나리오에서 예산은 환자별 유연한 자금이 아니라 모달리티별 자원 (예: 고정된 수의 MRI 스캔 또는 프로테오믹스 테스트를 위한 보조금) 으로 제한됩니다. 해결하려는 핵심 문제는 다음과 같습니다: 초기에는 모달리티의 일부만 사용 가능한 $N$개의 샘플로 구성된 코호트와 하나의 특정 고비용 누락 모달리티를 획득하기 위한 고정 예산 $\beta$가 주어졌을 때, 전체 코호트의 전역 성능 지표 (예: AUROC, AUPRC) 를 극대화하기 위해 어떤 샘플의 하위 집합을 선택해야 하는가?

**코호트 기반 활성 모달리티 획득 (CAMA)**이라고 명명된 이 설정은 기존 연구와 달리 의사 결정 수준을 개별 샘플에서 코호트로 전환하여 개별 예측 정확도뿐만 아니라 코호트의 전역 판별 성능을 최적화하는 것을 목표로 합니다.

방법론

1. 문제 공식화

저자들은 CAMA 를 최적화 문제로 공식화했습니다. 각 샘플 $i$가 $P$개의 모달리티를 가지지만 관측된 것은 부분 집합 $P^{avail}_i$뿐인 데이터셋 $D = \{(x_i, y_i)\}_{i=1}^N$을 가정합니다. 목표는 누락된 모달리티를 획득하기 위해 $|S| = \beta$인 부분 집합 $S \subseteq \{1, \dots, N\}$을 선택하는 것입니다.

• 점수: 프레임워크는 다음을 구분합니다:
  • $s^{avail}_i$: 사용 가능한 모달리티를 사용한 점수.
  • $s^{acquired}_i$: 사용 가능한 모달리티 + 획득된 모달리티를 사용한 점수 ("오라클" 점수).
  • $\{s^{imp}_{i,k}\}_{k=1}^K$: 생성 모델을 사용하여 $s^{acquired}_i$를 추정하는 $K$개의 imputed 점수 집합.
• 목적 함수: $S$에 있는 샘플에 대해 업데이트된 점수 벡터 $s(S)$를 사용하여 전역 지표 $Metric(y, s(S))$를 극대화합니다.

2. 획득 함수 (AF) 전략

최적화 문제를 정확하게 해결하는 것은 계산적으로 불가능하므로, 저자들은 샘플을 순위 매기기 위한 휴리스틱 획득 함수 (AF) 를 제안합니다. 이들은 다음과 같이 분류됩니다:

• 오라클 전략: 실제 레이블과 $s^{acquired}_i$에 대한 완벽한 지식을 가정하는 이론적 상한선입니다. 전역 지표에서 가장 큰 한계 이득을 제공하는 샘플을 탐욕적으로 선택합니다.
• 상한 휴리스틱: $s^{acquired}_i$는 알지만 $y_i$는 알지 못하는 레이블 무관 전략입니다. 실제 불확실성 감소, 순위 변화, 또는 확률 분포 간의 KL-발산과 같은 지표에 의존합니다.
• 추정 기반 전략 (제안): 실제 데이터를 획득하지 않고 생성 모델 $f_{imp}$를 사용하여 반사실적 점수 $\{s^{imp}_{i,k}\}$를 추정합니다. 전략에는 다음이 포함됩니다:
  • 기대 KL-발산: 추정된 분포가 기준선과 가장 크게 다른 샘플을 우선시합니다.
  • 기대 순위 변화: 코호트 순위에서 크게 이동할 것으로 예상되는 샘플을 우선시합니다.
  • 기대 불확실성 감소: 불확실성이 가장 크게 감소할 것으로 예상되는 샘플을 우선시합니다.
  • 기대 확률: 평균 추정 확률이 높은 샘플을 우선시합니다.
• 베이스라인: 획득 전 정보 (예: 기본 불확실성) 만 사용하거나 무작위 선택을 사용하는 전략.

3. 모델 아키텍처

제안된 아키텍처는 판별식 후기 융합 모델과 생성적 추정 모듈을 결합합니다 (그림 2):

• 판별식 구성 요소: 모달리티별 인코더 (예: 이미지는 ViT, 텍스트는 BERT) 와 융합 분류기를 가진 후기 융합 모델 $f$입니다. 이는 $s^{avail}_i$를 생성합니다.
• 생성적 구성 요소: 누락된 모달리티에 대한 조건부 분포 $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$를 근사하도록 훈련된 생성 모델 $f_{imp}$입니다 (Diffusion Transformers 또는 Beta-Conditional VAE 로 구현됨).
• 훈련: 모델은 이진 교차 엔트로피 (판별식) 와 생성 손실 (변분 하한 또는 탈노이즈 목적 함수) 의 결합 손실로 종단간 (end-to-end) 훈련됩니다. 중요하게도, 훈련 중 생성 출력은 분류기와 분리됩니다. 분류기는 데이터 누출을 방지하기 위해 어텐션 마스크를 통해 사용 가능한 모달리티만으로 훈련되는 반면, 생성 모듈은 잠재 임베딩을 재구성하는 법을 학습합니다.

주요 기여

1. CAMA 설정: 전역 예산 제약 하에서 단일 고정 모달리티에 대한 샘플 우선순위를 결정하는 새로운 테스트 시간, 코호트 수준의 획득 설정의 공식화.
2. AF 를 위한 이론적 프레임워크: 표준 평가 지표 (AUROC, AUPRC) 기반의 획득 함수 유도, 상한 휴리스틱 및 추정 기반 전략의 정의 포함.
3. 새로운 아키텍처: 테스트 시간의 반사실적 추론을 가능하게 하기 위해 판별식 후기 융합과 생성적 추정을 통합한 하이브리드 아키텍처 (특히 IMDer [64] 개념 적용).
4. 종합적 평가: 최대 15 개의 모달리티와 100,000 개의 샘플을 가진 다양한 데이터셋 (UK Biobank, MIMIC-Symile, MIMIC-HAIM, MOSEI) 에 대한 광범위한 실증적 검증.

실험 결과

저자들은 이진 분류 작업에 중점을 두어 네 가지 데이터셋에서 방법을 평가했습니다.

• 성능: 추정 기반 KL-발산 전략은 대부분의 데이터셋과 지표에서 모든 비오라클 베이스라인 (불확실성 기반 및 무작위 선택 포함) 을 일관되게 능가했습니다.
• 휴리스틱과의 비교: "True"(오라클 지식) 휴리스틱은 상한선을 제공했지만, 추정 기반 KL-발산 전략은 종종 해당 레이블 무관 상한 휴리스틱에 근접하거나 특정 경우 (예: MOSEI) 에는 이를 초과하는 성능을 보였습니다.
• 확장성: 이 방법은 UK Biobank 데이터셋 (약 10 만 개 샘플, 15 개 모달리티) 에서 확장성을 입증하여 전신성 홍반성 루푸스 (SLE) 예측을 위한 프로테오믹스 데이터 획득을 성공적으로 안내했습니다.
• 애벌레이션 연구: 레이어 정규화, 레이블 스무딩, 훈련 중 생성 모듈과 분류기의 분리 등 주요 아키텍처 결정이 안정성과 성능에 필수적인 것으로 확인되었습니다.
• 효율성: DDPM 은 강력한 성능을 제공했지만, Beta-Conditional VAE 는 성능과 트레이드오프 관계에 있는 더 빠른 추론 대안을 제공했습니다.

중요성과 주장

이 논문은 CAMA 가 특히 단일 고비용 모달리티를 대규모 코호트에 할당해야 하는 자원 제약 환경에서 모달리티 획득을 최적화하는 효과적인 접근 방식을 제공한다고 주장합니다.

• 실제 세계 관련성: 저자들은 고정된 예산이 고비용 테스트를 위한 환자 전략적 선택을 필요로 한 UK Biobank 프로테오믹스 프로젝트를 주요 예시로 강조합니다. 그들의 방법은 이러한 결정에 대한 데이터 기반 프레임워크를 제공합니다.
• 자원 효율성: 지역적 불확실성 감소가 아닌 획득으로 인한 가장 높은 전역 이득을 제공하는 샘플을 우선시함으로써 제한된 자원의 효용을 극대화합니다.
• 한계점: 저자들은 현재 작업이 단일 지정 모달리티와 고정 비용에 초점을 맞추고 있으며, 모달리티와 샘플을 동시에 선택하거나 이질적인 비용을 처리하는 더 복잡한 문제는 제외했다고 인정합니다. 또한 평가는 (UKB 를 제외하고) 합성 누락 패턴을 사용하며 전용 공정성 분석을 아직 포함하지 않았다고 지적합니다.

결론적으로, 이 연구는 특히 기대 KL-발산을 활용하는 추정 기반 획득 함수가 코호트 수준의 자원 할당을 효과적으로 안내할 수 있음을 입증하여, 이론적 획득 전략과 실제 예산 제약 멀티모달 학습 응용 간의 격차를 해소했습니다.