🤖 AI

In-Context Multiple Instance Learning

이 논문은 다양한 합성 데이터로 사전 학습된 Perceiver 스타일의 아키텍처를 활용하여, 그래디언트 업데이트 없이 단 한 번의 순전파만으로 최소한의 레이블이 지정된 백(bag)을 통해 새로운 태스크에서 강력한 성능을 달성하는 다중 인스턴스 학습(Multiple Instance Learning)을 위한 인컨텍스트 학습 접근 방식을 제안한다.

원저자: Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제의 핵심: "눈 가린 탐정"

당신이 범죄를 해결하려는 탐정이라고 상상해 보세요. 하지만 당신은 오직 증거물 봉투 더미만 볼 수 있습니다. 각 봉투 안에 무엇이 들어있는지는 볼 수 있지만(머리카락 몇 가닥, 지문, 천 조각 등), 어떤 특정 물건이 결정적인 '스모킹 건(결정적 증거)'인지는 알 수 없습니다. 당신은 오직 봉투 전체에 대한 라벨만 받을 수 있습니다: "유죄" 또는 "무죄".

이것이 바로 **다중 인스턴스 학습(Multiple Instance Learning, MIL)**입니다. 이는 실생활에서 다음과 같은 일에 사용됩니다:

병리학: 의사가 조직 슬라이드 전체(봉투)를 보고 "암"이라고 진단하지만, 암을 일으킨 정확한 단일 세포가 무엇인지까지는 지목하지 않습니다.
위성 이미지: 위성이 숲의 사진(봉투)을 찍고 "화재"라고 판독하지만, 화재는 아주 작은 연기 구역일 수도 있습니다.

문제점: 보통 컴퓨터에게 이를 가르치려면 수천 개의 라벨링된 봉투가 필요합니다. 하지만 현실 세계에서 의사나 과학자들이 가진 데이터는 대개 손에 꼽을 정도(예: 20~30개)뿐입니다. 만약 이렇게 적은 예시로 컴퓨터를 가르치려 한다면, 다음 두 가지 문제가 발생합니다:

과적합(Overfitting): 컴퓨터가 몇 안 되는 예시를 완벽하게 외워버려서 새로운 데이터에는 적용하지 못합니다 (마치 정답지를 통째로 외워버려서 새로운 수학 문제는 풀지 못하는 학생과 같습니다).
너무 경직됨: 복잡한 현실을 반영하지 못하는 단순한 규칙만을 사용하게 됩니다.

해결책: "인컨텍스트 다중 인스턴스 학습" (ICMIL)

저자들은 ICMIL이라는 새로운 방법을 소개합니다. 이것은 탐정에게 실제 범죄 사건을 학습시키는 것이 아니라, 먼저 수백만 개의 가짜, 만들어진 범죄 현장을 통해 훈련시키는 것과 같습니다.

작동 방식은 다음과 같습니다:

1. "훈련 체육관" (합성 데이터)

연구진은 실제 데이터를 기다리는 대신, 수백만 개의 가짜 봉투와 라벨을 생성하는 "체육관"을 구축했습니다.

반전: 그들은 단순히 한 종류의 가짜 데이터만 만든 것이 아닙니다. 두 가지 서로 다른 "맛"의 가짜 데이터를 만들었습니다:
- 맛 A (Factorized - 분해형): 봉투의 라벨이 단순히 구성 요소들의 합이라고 가정합니다 (예: "봉투 안에 빨간 머리카락이 하나라도 있으면 유죄").
- 맛 B (Joint - 결합형): 구성 요소들이 복잡한 방식으로 함께 작용한다고 가정합니다 (예: "빨간 머리카락이 있고, 동시에 특정 종류의 신발이 있으며, 이 둘이 가까이 있어야만 유죄").
이유: 두 가지 모두로 훈련함으로써 모델은 유연성을 갖게 됩니다. 즉, 답이 단순할 때도 있고, 복잡한 퍼즐일 때도 있다는 것을 배웁니다.

2. "스마트 브레인" (아키텍처)

이러한 봉투들을 처리하기 위해, 그들은 Perceiver 스타일의 아키텍처를 사용하여 특별한 뇌를 만들었습니다.

비유: 매니저 팀을 상상해 보세요.
- 먼저, 각 매니저는 자신의 팀원들(봉투 안의 인스턴스들)을 살펴보고 가장 중요한 것들을 골라냅니다.
- 그다음, 매니저들은 서로 의견을 나눕니다. "헤이, 내 팀에는 빨간 머리카락이 있는데, 네 팀은 어때?"
- 이 과정은 루프(반복) 형태로 일어납니다. 그들은 인스턴스를 살펴보고 다른 봉투들과 비교하며 이해도를 계속해서 정교하게 다듬습니다.
이점: 이를 통해 모델은 매번 무엇을 찾아야 할지 지시받지 않고도, 어떤 세부 사항이 중요한지에 대해 똑똑하게 판단할 수 있습니다.

3. "마법의 기술" (추론)

이 부분이 가장 인상적인 부분입니다. 가짜 데이터로 훈련이 끝나면, 모델은 완성됩니다.

재학습 불필요: 새로운 실제 문제(예: 새로운 조직 슬라이드)를 주었을 때, 모델을 다시 훈련시키거나 설정을 조정하거나 몇 시간 동안 돌릴 필요가 없습니다.
원샷(One-Shot): 그냥 새로운 봉투들과 당신이 가진 몇 개의 라벨된 예시(컨텍스트)를 건네주기만 하면 됩니다. 모델은 즉시 규칙을 파악하고 답을 예측합니다.
비유: 이는 수천 가지의 가짜 요리를 연습해 본 셰프와 같습니다. 당신이 재료 몇 가지를 들고 와서 "수프를 만들어 줘"라고 말하면, 셰프는 레시피를 읽거나 연습할 필요 없이 즉시 완벽하게 요리해 냅니다. 왜냐하면 이미 가능한 모든 변형을 경험해 보았기 때문입니다.

연구 결과는 무엇인가요?

연구진은 이 "훈련된 탐정"을 12가지의 서로 다른 실제 과제(암 검출, 사진 속 동물 식별, 특정 글자 찾기 등)에 테스트했습니다.

결과: ICMIL 모델은 특정 작업에 맞춰 재학습이 필요한 기존의 표준 방식들을 모두 이겼습니다.
비법: 두 가지 맛의 가짜 데이터(단순함과 복잡함 모두)를 혼합하여 훈련된 모델이 전반적으로 가장 우수한 성능을 보였습니다. 이 모델은 거의 모든 상황을 다룰 수 있는 "제너럴리스트(범용 모델)"였던 반면, 한 가지 유형의 가짜 데이터로만 훈련된 모델은 어떤 것에는 강하지만 어떤 것에는 약한 모습을 보였습니다.
속도: 새로운 작업마다 재학습을 하거나 복잡한 교차 검증을 실행할 필요가 없기 때문에, 전통적인 방식보다 훨씬 빠릅니다.

요약

이 논문은 매우 적은 양의 예시만 있을 때 발생하는 어려운 "봉투 속 아이템" 문제를 해결하는 방법을 제안합니다. 아주 적은 양의 실제 데이터로부터 배우려고 애쓰는 대신, 문제가 해결될 수 있는 모든 방식을 포괄하는 거대한 합성 데이터 라이브러리에서 AI를 사전 훈련시킵니다.

실제 문제가 닥치면, AI는 가짜 세계에서의 "경험"을 사용하여 새로운 작업을 즉시 이해하고 해결하며, 재학습 없이도 이를 수행합니다. 이는 마치 학생에게 세상의 모든 가능한 시험 문제를 미리 다 보여주는 것과 같아서, 실제 시험이 왔을 때 이미 답을 알고 있게 만드는 것과 같습니다.

기술 요약: 인컨텍스트 다중 인스턴스 학습 (ICMIL)

문제 정의

다중 인스턴스 학습(Multiple Instance Learning, MIL)은 개별 인스턴스가 아닌 "백(bag)"(인스턴스들의 집합) 단위로 감독 정보가 제공되는 시나리오를 다룹니다. 계산 병리학이나 위성 이미지 분야에서 성공을 거두고 있으나, 기존의 MIL 알고리즘은 실제 데이터셋이 불과 수십 개의 레이블된 백만을 포함하는 경우가 많은 **저레이블 환경(low-label regime)**에서 어려움을 겪습니다.

현재의 접근 방식들은 다음과 같은 근본적인 트레이드오프에 직면해 있습니다:

유연한 모델(예: 어텐션 기반 MIL, TransMIL)은 데이터가 부족할 때 과적합(overfitting)되는 경향이 있습니다.
경직된 모델(예: mean/max pooling)은 특정 작업과 일치하지 않는 강력한 귀납적 편향(inductive biases)을 인코딩합니다.
사전 학습(Pretraining) 방법은 대규모의 작업 관련 소스 코퍼스를 필요로 하지만, 이는 종종 가용하지 않습니다.
자기 지도 학습(Self-supervised) 방법은 인스턴스 정보를 고정된 표현으로 압축하며, 이 과정에서 하위 작업 지식 없이 중요한 특징을 버릴 가능성이 있습니다.

결과적으로, 기존의 어떤 방법도 대규모 사전 학습 코퍼스나 작업별 그래디언트 업데이트 없이 추론 시점에 적은 수의 레이블된 백으로부터 학습할 수 있는 능력을 갖추지 못했습니다.

방법론

핵심 개념: 인컨텍스트 다중 인스턴스 학습 (ICMIL)

저자들은 사전 데이터 적합 네트워크(Prior-data Fitted Network, PFN) 패러다임에 기반한 ICMIL을 제안합니다. ICMIL은 특정 데이터셋에 맞추기 위해 모델을 훈련시키는 대신, 다양한 **합성 백 구조 데이터(synthetic bag-structured data)**에 대해 사전 학습되어 백 레이블에 대한 사후 예측 분포를 근사하도록 설계되었습니다.

추론 시점에 모델은 실제 MIL 데이터셋(레이블된 컨텍스트 백과 레이블되지 않은 쿼리 백)을 입력으로 받으며, 그래디언트 업데이트나 하이퍼파라미터 튜닝 없이 **단일 순전파(single forward pass)**를 통해 쿼리를 분류합니다. 모델은 시뮬레이션된 작업들을 통해 "그럴듯한 백 분류기가 어떤 모습인지"를 효과적으로 학습함으로써, 보지 못한 백에 대한 레이블링 규칙을 추론할 수 있게 됩니다.

아키텍처 설계

PFN을 계층적 집합 입력(hierarchical set inputs)에 적응시키기 위해, 저자들은 Perceiver 스타일의 아키텍처를 사용하여 세 가지 구체적인 과제를 해결합니다:

계산 확장성(Computational Scalability): 모든 백의 모든 인스턴스에 대한 나이브한 어텐션은 $O(N^2I^2)$ 의 이차 복잡도를 가집니다. 제안된 아키텍처는 인스턴스들을 모으는 작업을 백별로 독립적으로 처리한 후 백 간의 어텐션을 수행하는 **학습 가능한 백 토큰(learnable bag tokens)**을 사용하여 복잡도를 줄입니다.
작업 의존적 인스턴스 압축(Task-Dependent Instance Compression): 표준 압축은 모델이 레이블을 보기 전에 발생합니다. 반면 ICMIL은 백 토큰이 자신의 인스턴스에 어텐션을 수행하는 것과 백 및 레이블 간에 어텐션을 수행하는 것을 교차 수행하는 반복적 어텐션 메커리즘을 사용합니다. 이를 통해 모델은 컨텍스트에서 사용 가능한 작업별 정보를 바탕으로 어떤 인스턴스 특징을 보존할지 결정할 수 있습니다.
순열 불변성 vs 백 정체성(Permutation Invariance vs. Bag Identity): 아키텍처는 인스턴스 입력에 대해 본질적으로 순열 불변인 멀티 헤드 어텐션(MHA)을 활용하면서도, 별도의 백 토큰과 백 간의 어텐션을 통해 백의 정체성을 유지합니다.

합성 사전 (Synthetic Priors)

ICMIL의 효과는 훈련된 사전(prior)과 실제 작업 사이의 정렬에 달려 있습니다. 저자들은 두 종류의 합성 데이터 생성기를 설계했습니다:

분해된 사전 (Factorized Priors): 백 레이블이 인스턴스의 순열 불변 함수( $y = g(\phi(\{f(x_i)\}))$ )에 의해 결정된다는 고전적인 MIL 가정을 따릅니다. 이들은 인스턴스를 독립적으로 생성하고 이산적 또는 연속적 요약을 통해 집계합니다.
결합된 사전 (Joint Priors): 분해 가정을 탈피하여, 평탄화된 백 전체에 대한 단일 함수( $y = f_S(x_1, ..., x_I)$ )를 정의합니다. 이를 통해 분해된 사전이 표현할 수 없는 백 내부의 풍부한 인스턴스 간 상관관려를 허용합니다.

저자들은 구조적 정렬(Factorized)과 표현력(Joint) 중 무엇이 더 나은 성능을 내는지, 그리고 이들 사전의 혼합이 강건한 일반 모델을 만드는지 조사합니다.

주요 기여

ICML 프레임워크: 그래디언트 업데이트 없이 소수의 레이블된 백으로부터 새로운 작업을 해결하는 MIL을 위한 인컨텍스트 학습 접근법을 도입했습니다.
Perceiver 스타일 아키텍처: 확장성, 작업 의여적 압축, 순열 불변성 문제를 해결하는 계층적 집합 입력을 위한 새로운 아키텍처를 제시했습니다.
합성 사전 분석: Factorized와 Joint 사전이 상호 보완적인 귀납적 편향을 포착한다는 점을 확인했습니다. Factorized 사전은 상관관계가 없는 "목격자(witness)" 작업에 탁월하며, Joint 사전은 백 내부의 상관관계 및 상호작용이 있는 작업에서 더 우수한 성능을 보입니다.
강건한 일반 모델: 이러한 사전들의 혼합(mixture)으로 훈련된 모델이 가장 우수한 평균 성능을 달성하며, 두 가족의 강점을 모두 상속받음을 입증했습니다.

실험 결과

저자들은 12개의 MIL 벤치마크(Musk1/2, HEPMASS, TCGA, RSNA-ICH 포함)를 저레이블 환경(약 100개의 백으로 서브샘플링)에서 평가했습니다.

성능: ICMIL(확장된 용량의 혼합 사전으로 훈련됨)은 모든 벤치마크에서 가장 높은 **평균 AUROC (84.17)**와 가장 좋은 **평균 순위 (4.08)**를 달축했습니다.
베이스라인과의 비교: ICMML은 지도 학습 베이스라인(MeanLogReg, SVM-Summ, ABMIL) 및 평탄한 TabPFN 변형 모델보다 우수한 성능을 보였습니다.
- ABMIL과 같은 지도 학습 베이스라인은 작은 데이터셋에서의 하이퍼파라미터 튜닝 어려움으로 인해 높은 분산과 불안정성을 보였습니다.
- 백을 벡터로 평탄화한 Flat TabPFN 베이스라인은 성능이 낮았으며, 이는 구조적 정보를 활용하기 위해 백 인식(bag-aware) 아키텍처가 필요함을 시사합니다.
효율성: 매번 크로스 밸리데이션과 재학습이 필요한 지도 학습 방식과 달리, ICMML은 단일 순전파로 모든 쿼리 백을 분류합니다. ICMML의 실제 실행 시간(wall-clock time)은 단순 선형 및 커널 베이스라인과 경쟁할 만한 수준이며, ABMIL의 분할별 재적합(per-split refitting)에 따른 계산 오버헤드를 피합니다.
분산: ICMML은 재표집된 훈련 세트에 대해 지도 학습 베이스라인보다 낮은 분산을 보여주었으며, 이는 저샘플 환경에서 더 유리한 편향-분산 트레이드오프를 나타냅로.

의의 및 주장

본 논문은 ICMML이 제한된 데이터에 맞춰 애그리게이터(aggregator)를 맞추는 문제에서, 관련 가설 공간을 아우르는 좋은 데이터 생성기(priors)를 설계하는 문제로 전환함으로써 희소한 레이블된 백으로부터 학습하는 격차를 성공적으로 해소했다고 주장합니다.

주요 주장은 다음과 같습니다:

제로샷 적응 (Zero-Shot Adaptation): 모델은 파인튜닝이나 작업별 훈련 데이터 없이도 작업 및 응용 도메인을 가로질러 일반화됩니다.
편향-분산 트레이드오프: 레이블된 컨텍스트와 일치하는 가설들에 대한 베이지안 모델 평균(Bayesian model averaging)을 근사함으로써, ICMML은 희소한 레이벨에 맞춰 단일 애集리게이터를 적합시킬 때 발생하는 분산을 피합니다.
상호 보완적 사전: 단일한 사전이 지배적이지 않다는 점을 강조하며, 구조적으로 정렬된(Factorized) 사전과 표현력이 풍부한(Joint) 사전을 결합함으로써 다양한 MIL 환경을 다룰 수 있는 강건한 일반 모델을 얻을 수 있음을 보여줍니다.

저자들은 현재 작은 백 크기(최대 20개 인스턴스)와 축소된 특징 차원을 사용하는 훈련 커리큘럼과 같은 한계를 인정합니다. 이들은 향-후 연구에서 특정 도메인(예: 병리학의 공간적 사전)에 부합하는 더 풍부한 사전과 실제 코퍼스에 대한 사후 학습을 탐구하여 합성-실제 간의 간극을 더욱 좁힐 수 있을 것이라고 제안합니다.