💻 computer science

In-Context Learning for Wound Classification with Small Multimodal Language Models

본 연구는 소규모 멀티모달 언어 모델이 태스크별 재학습 없이도 쿼리 조건부 지원 예시와 최대 한계 관련성 재순위를 활용함으로써, 검색 기반 인컨텍스트 학습을 통해 공개 데이터셋에서 높은 정확도를 달성하며 학습이 필요 없는 상처 이미지 분류를 효과적으로 수행할 수 있음을 입증한다.

원저자: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 찰과상, 화상, 또는 깊은 상처와 같은 다양한 유형의 상처를 인식하는 법을 가르치려 한다고 상상해 보세요. 보통 로봇에게 이를 가르치려면 수천 장의 라벨이 붙은 사진을 보여주고 "학습"이라는 과정을 통해 암기하도록 강요해야 합니다. 이는 마치 학생이 단 한 번의 시험을 위해 몇 주 동안 공부하게 만드는 것과 같습니다. 하지만 만로 로봇이 시험 직전에 몇 가지 예시를 보고 즉석에서 문제를 해결할 수 있다면 어떨까요? 이것이 바로 "인컨텍스트 러닝(In-Context Learning, ICL)"의 개념입니다. 학생에게 시험 직전 "화상"과 "절창"에 대한 완벽한 예시 세 개가 담긴 치트 시트를 건네주는 것과 같습니다. 학생은 교과서 전체를 암기할 필요 없이, 그저 예시를 보고 "아, 이 새로운 것은 화상 예시와 비슷하구나"라고 말하기만 하면 됩니다.

이제 이 로봇이 클라우드에 있는 거대한 슈퍼컴퓨터가 아니라, 노트북이나 휴대폰에 들어갈 정도로 작다고 상상해 보세요. 이것들을 "소형 멀티모달 언어 모델(Small Multimodal Language Models, SMLMs)"이라고 부릅니다. 이들은 개인 정보를 보호하는 데 탁층적인데, 당신의 사적인 의료 사진을 거대한 서버로 보낼 필요 없이 로봇이 기기 자체에서 직접 사고할 수 있기 때문입니다. 과학자들이 던진 핵심적인 질문은 이것입니다. 이 작은 로컬 로봇들이 단 몇 개의 예시만으로도 제대로 된 역할을 수행할 수 있을까요, 아니면 여전히 거대한 슈퍼컴퓨터와 방대한 학습 데이터가 필요할까요?

이 논문은 그 아이디어를 테스트합니다. 연구진은 매번 모델을 다시 학습시키지 않고도 이 작은 로컬 AI 모델들을 사용하여 상처 이미지를 분류할 수 있는지 확인하고자 했습니다. 그들은 약 1,469장의 이미지가 포함된 공공 컬렉션 하나와 560장이 포함된 또 다른 컬렉션을 사용하여 실험을 설계했습니다. AI에게 그냥 추측하라고 요청하는 대신(이는 "제로샷(zero-shot)"이라 불리며 종종 터무로한 추측으로 이어집니다), 연구진은 "치트 시트" 형태의 예시를 제공하는 방법을 시도했습니다. 하지만 여기에는 비결이 있습니다. 단순히 무작위 예시를 고른 것이 아니라, 새로운 상처 이미지와 가장 유사해 보이는 예시를 찾기 위해 스마트한 검색 시스템을 사용했다는 점입니다.

결과는 작은 로봇들에게 꽤 흥ende로운 것이었습니다. AI에게 스마트하게 선택된 예시들(특히 kNN이라는 검색 시스템으로 찾아낸 10개의 예시, 그리고 때로는 다양성을 확보하기 위해 MMR이라는 방법으로 정제된 예시들)을 주었을 때, AI는 업무 수행 능력이 훨씬 좋아졌습니다. 더 큰 데이터셋의 경우, 가장 뛰어난 작은 모델인 Qwen 3.5 27B 버전은 0.872의 정확도에 도달했습니다. 이는 진단을 87% 이상의 확률로 정확히 맞혔음을 의미합니다. 더 까다롭고 작은 데이터셋에서도 약 68%의 정확도를 기록했습니다.

또한 연구는 로봇의 크기가 중요하다는 것을 발견했습니다. 더 큰 소형 모델들(27B 및 9B 버전)은 예시를 활용하여 자신의 추측을 유의미하게 개선할 수 있었으며, 종종 가장 가까운 것에 기반해 투표하는 표준 컴퓨터 프로그램보다 더 나은 성능을 보였습니다. 그러나 아주 작은 모델들은 다소 어려움을 겪었는데, 때때로 미묘한 차이를 이해하기보다는 예시를 그대로 복사하는 수준에 그쳤습니다. 연구진은 또한 너무 방대한 치트 시트가 필요하지 않다는 것도 발견했습니다. 8개에서 10개 이상의 예시를 추가하는 것은 큰 도움이 되지 않았으며 오히려 과정만 느리게 만들었습니다.

결정적으로, 이 논문은 이 방식이 매번 새로운 작업에 맞춰 모델을 재학습시킬 필요 없이 작동한다는 것을 보여줍니다. 만약 의사들이 라벨을 바꾸거나 관찰하고자 하는 상처의 종류를 변경하더라도, 프롬프트에 들어가는 예시만 교체하면 모델은 즉각적으로 적응합니다. 성능이 완벽하지 않고 좋은 예시와 적절한 크기의 모델에 크게 의존하기는 하지만, 이 연구는 작은 로컬 AI 모델들이 상처를 분류하는 데 있어 실용적이고 개인 정보 보호에 유리한 방법이 될 수 있음을 시사하며, 데이터 집약적인 과거의 무거운 시스템들에 대한 유연한 대안을 제시합니다.

기술 요약: 소형 멀티모달 언어 모델을 이용한 상처 분류를 위한 인컨텍스트 학습(In-Context Learning)

문제 정의
상처 이미지 분류는 전통적으로 작업 특정적인 지도 학습 문제로 취급되어 왔습니다. 이러한 패러다임은 상당한 양의 수동 레이블 데이터가 필요하며, 레이블 공간이나 배포 환경이 변경될 때마다 재학습을 필요로 합니다. 이러한 요구 사항은 전문가의 레이블이 부족하고, 개인정보 보호 제약으로 인해 데이터 공유가 제한되며, 임상적 정의가 빠르게 진화하는 의료 환경에서 특히 부담이 됩니다. 대규모 멀티모달 언어 모델(LMLM)은 제로샷(zero-shot) 능력을 제공하지만, 종종 서버 측 추론을 요구하여 민감한 환자 데이터에 대한 개인정보 보호 문제를 야기합니다. 반면, 로컬 또는 엣지 배포에 적합한 소형 멀티모달 언어 모델(SMLM)은 미세 조정(fine-tuning) 없이는 복잡한 의료 작업을 수행하는 데 어려움을 겪는 경우가 많습니다. 본 연구는 SMLM이 검색 기반 인컨텍스트 학습(ICL)을 사용하여 작업 특정적인 재학습을 피함으로써, 실용적이고 개인정보를 보호할 수 있는 대안이 될 수 있는지 조사합니다.

방법론
본 연구는 0.8B에서 27B 파라미터에 이르는 Qwen 3.5, Ministral 3, Gemma 4 제품군의 11개 SMLM을 평가했습니다. 실험은 두 가지 공개 데이터셋인 Kaggle 상처 데이터셋(이미지 1,469장, 클래스 10개)과 Medetec 데이터셋(이미지 560장, 클래스 9개)을 대상으로 수행되었습니다.

핵심 방법론은 서포트 예시(few-shot 컨텍스트)를 선택하기 위한 세 가지 전략을 사용하여 SMLM을 위한 프롬프트를 구성하는 것이었습니다:

제로샷(Zero-shot): 서포트 예시를 제공하지 않음.
랜덤 퓨샷(Random Few-shot): 데이터셋에서 균등하게 샘플링된 서포트 예시 사용.
검색 기반 ICL(Retrieval-based ICL): 고정된 OpenAI CLIP ViT-B/32 인코더를 사용하는 임베딩 기반 검색을 통해 서포트 예시를 선택. 두 가지 검색 전략이 테스트되었습니다:
- kNN: 코사인 유사도를 기반으로 $K$ 개의 최근접 이웃을 선택.
- kNN+MMR: 관련성과 다양성의 균형을 맞추기 위해 Maximal Marginal Relevance를 사용하여 이웃을 선택.

모델의 추론 기여도를 검색 메커니즘 자체와 분리하기 위해, 저자들은 SMLM 성능을 검색 전용 가중치 kNN(weighted-kNN) 베이스라인과 비교했습니다. 또한, 서포트 세트 크기(풀을 75%, 50%, 25%로 축소)와 서포트 컨텍스트 크기(K를 2에서 20까지 변화)가 성능 및 추론 비용에 미치는 영향을 평가했습니다. 비교를 위해 전체 미세 조정(full fine-tuning), LoRA, 그리고 헤드 전용 튜닝(head-only tuning)을 거친 지도 학습 베이스라인(ViT, ConvNeXt, EfficientNet, ResNet)도 함께 평가되었습니다.

주요 결과

검색의 중요성: 쿼리 조건부 검색(kNN 및 kNN+MMR)은 제로샷 및 랜덤 퓨샷 프롬프팅보다 일관되게 우수한 성능을 보였습니다. Kaggle 데이터셋에서 가장 우수한 모델(kNN+MMR을 사용한 Qwen 3.5 27B)은 0.872의 정확도를 달ach한 반면, 제로샷은 0.580을 기록했습니다. 더 까다로운 Medetec 데이터셋에서 동일한 구성은 제로샷의 0.367 대비 0.678의 정확도에 도달했습니다.
모델 규모와 추론 능력: 더 큰 모델(예: Qwen 3.5 27B, 9B; Gemma 4 26B)은 검색 전용 가중치 kNN 베이스라인을 유의미하게 능가했습니다. 통계적 분석(McNemar 테스트)은 이러한 모델들이 단순히 검색된 예시를 흉내 내는(parrot) 것이 아니라, 내부 지식을 활용하여 검색 전용 제어 모델의 오류를 수정한다는 것을 확인시켜 주었습니다. 예를 들어, Kaggle에서 Qwen 3.5 27B는 제어 모델의 정답 중 96%를 유지하면서도, 제어 모델의 오답 중 61.6%를 "구조(rescue)"했습니다. 작은 모델(예: Qwen 3.5 0.8B)은 종종 검색 전용 베이스라인을 넘어서지 못했는데, 이는 이들이 검색된 컨텍스트를 효과적으로 통합할 능력이 부족함을 시사합니다.
데이터 희소성에 대한 강건성: 검색 기반 ICL은 축소된 서포트 세트에서도 강건함을 보여주었습니다. 서포트 풀이 줄어듦에 따라 성능이 저하되었지만, ICL을 적용한 최상의 SMLM은 동일한 축소된 데이터 비율로 학습된 지도 학습 베베이스라인보다 우수한 성능을 보였습니다. 예를 들어, Medetec 데이터셋에서 서포트 데이터를 25%만 사용했을 때, 최상의 SMLM(Qwen 3.5 27B)은 약 0.53의 정확도를 달성하여 약 0.41로 떨어진 최상의 지도 학습 모델(ConvNeXt-Tiny)을 앞질렀습니다.
컨텍스트 크기와 비용: 서포트 컨텍스트 크기를 늘리는 것은 긍정적이지만 점진적인 수익 체감을 보였습니다. 대부분의 성능 향상은 8개에서 10개의 서포트 이미지 사이에서 포화되었습니다. 이 지점을 넘어서면 정확도 이득은 미미한 반면 추론 지연 시간과 토큰 수는 선형적으로 증가했습니다.

의의 및 주장
본 논문은 검색 기반 ICL이 SMLM이 작업 특정적인 재학습이나 미세 조정 없이도 적응 가능한 상처 이미지 분류를 수행할 수 있게 한다고 주장합니다. 이 접근 방식은 데이터가 외부 클라우드 제공업체로 전송될 수 없는 개인정보 보호가 중요한 환경에서 작업 적응성, 계산 비용 및 분류 성능 사이의 실행 가능한 절충안을 제공합니다.

저자들은 SMLM이 모든 시나리오에서 대규모 원격 모델이나 완전히 미세 조정된 시스템보다 반드시 더 나은 성능을 내는 것은 아니지만, "유용한 개인정보 보호 절충안"을 제공한다고 강조합니다. 본 연구는 모델 규모와 검색 전략이 작업 난이도와 적절히 매칭된다면, 콤팩트한 검색 컨텍스트가 로컬 하드웨어에서의 실질적인 배포를 지원할 수 있음을 입증합니다. 이 작업은 서포트 예시의 선택이 효과적인 ICL의 핵심이며, 더 큰 SMLM이 단순한 최근접 이웃 투표를 넘어 검색된 컨텍스트를 효과적으로 활용할 수 있어 레이블 세트와 정의가 변할 수 있는 의료 영상 작업에 유연한 솔루션이 될 수 있음을 강조합니다.

기술 요약: 소형 멀티모달 언어 모델을 이용한 상처 분류를 위한 인컨텍스트 학습(In-Context Learning)

유사한 논문