⚡ electrical engineering

Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis

본 논문은 마스크드 오토인코더를 통한 암시적 패치 간 학습과 명시적 그래프 기반 모델링을 결합한 이중 수준 관계 프레임워크를 제안하며, 이를 통해 ISIC-2018 데이터셋에서 79.27%의 균형 정확도를 달 Achieving 달성함으로써 ISIC 벤치마크 상의 피부 병변 진단 성능을 유의미하게 향상시킨다.

원저자: Rafał Buler (Gdańsk University of Technology), Jakub Buler (Gdańsk University of Technology), Maciej Bobowicz (Medical University of Gdańsk), Michał Grochowski (Gdańsk University of Technology)

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rafał Buler (Gdańsk University of Technology), Jakub Buler (Gdańsk University of Technology), Maciej Bobowicz (Medical University of Gdańsk), Michał Grochowski (Gdańsk University of Technology)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 사진 한 장만 보고 특정 유형의 물체, 예를 들어 희귀한 새나 옷에 묻은 까다로운 얼룩을 인식하도록 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이것은 이미지 분류(image classification)라고 불립니다. 오랫동안 컴퓨터는 색상의 아주 작은 점(픽셀)들을 보고 그것들이 어떻게 모여 형태를 이루는지 학습함으로써 이 분야에서 매우 뛰어난 능력을 보여왔습니다. 하지만 함정이 하나 있습니다. 현실 세계의 물체, 특히 피부 병변과 같은 의료 분야의 대상은 단순히 무작위로 쌓인 픽셀 덩어리가 아닙니다. 그것들은 구조를 가지고 있습니다. 점의 가장자리는 중심부와 관계를 맺는 것처럼, 점의 각 부분은 서로 소통합니다.

컴퓨터가 이러한 관계를 이해하도록 돕기 위해, 과학자들은 "귀납적 편향(inductive bias)"이라는 것을 사용합니다. 이것은 세상이 어떻게 돌아가는지에 대해 우리가 컴퓨터에게 주는 일종의 규칙이나 힌트라고 생각하면 됩니다. 한 가지 방법은 "암시적(implicit)" 학습으로, 컴퓨터가 수백만 장의 사진을 보며 스스로 연결 고리를 찾아내는 방식입니다. 마치 당신이 어떤 특징이 중요한지 구체적으로 듣지 않고도 친구의 얼굴을 인식하는 법을 배우는 것과 비슷합니다. 또 다른 방법은 "명시적(explicit)" 학습으로, 우리는 이미지의 어느 부분이 이웃하며 서로 비교되어야 하는지를 컴퓨터에게 직접 지도로 그려서 보여줍니다. 이 논문은 이 두 가지 접근 방식을 결합했을 때 어떤 일이 일어나는지 탐구합니다. 즉, 컴퓨터가 스스로 기초적인 것을 배우게 하고, 그 후에 점들을 더 잘 연결할 수 있도록 구체적인 지도를 제공하는 것입니다. 목표가 무엇일까요? 의료 진단의 정확도를 높이는 것입니다. 이는 의사들이 질병을 조기에 발견하기 위해 가능한 모든 이점을 가져야 한다는 점에서 매우 중요한 일입니다.

논문의 이야기: 컴퓨터가 스스로 "대화"하도록 가르치기

이 논문은 연구진이 두 가지 서로 다른 사고방식을 섞어서 컴퓨터가 피부 병변(암일 수도 있는 피부의 점)을 진단하는 데 더 똑똑해질 수 있는지 확인하고자 한 내용에 관한 것입니다. 그들은 컴퓨터가 먼저 이미지의 "분위기"를 스스로 이해하게 한 다음, 이미지의 서로 다른 부분들과 명시적으로 대화하도록 강제함으로써 업무 수행 능력을 높일 수 있는지 확인하기 위해 작은 실험을 설계했습니다.

먼저, 그들은 컴퓨터에게 "자기 지도 학습(self-supervised)" 세션을 주었습니다. 여러분이 퍼즐을 가지고 있는데, 누군가 퍼즐 조각의 절반을 가려놓고 남은 조각들을 바탕으로 가려진 부분에 무엇이 있을지 추측해 보라고 하는 상황을 상상해 보세요. 컴퓨터도 이와 유사한 작업을 수행했습니다. 피부 병변 이미지를 보고, 이미지의 일부를 숨긴 뒤, 남은 부분을 재구성하려고 시도했습니다. 이것이 암시적 부분입니다. 즉, 게임의 규칙을 직접 플레이하며 배우는 것입니다.

그다음, 그들은 학습된 "분위기(임베딩)"를 가져와 피부 점을 분류하려고 시했습니다. 그들은 컴퓨터가 모든 패치(조각)를 살펴보고 무엇이 진단인지 투표하는 표준적인 방법으로 시작했습니다. 이것이 그들의 베이스라인(기준점)이었으며, ISIC-2018 테스트 세트에서 **76.17%**의 "균형 정확도(balanced accuracy)"를 기록하며 꽤 잘 작동했습니다. 하지만 연구진은 여기서 멈추지 않았습니다. 그들은 명시적인 부분, 즉 "지도"를 추가하여 더 나은 결과를 낼 수 있는지 알고 싶었습니다.

그들은 패치들을 다양한 "그래프(graph)"로 조직했는데, 그래프란 점(패치)들이 선(관계)으로 연결된 화려한 네트워크를 말합니다. 그들은 세 가지 유형의 지도를 시도했습니다:

무작위(Random): 패치들을 무작위 이웃에게 연결하는 것으로, 마치 혼란스러운 단체 채팅방와 같습니다.
그리드(Grid): 패치를 오직 바로 옆의 이웃에게만 연결하는 것으로, 옆집하고만 대화하는 도시의 블록과 같습니다.
k-최근접 이웃(kNN): 위치에 상관없이 서로 가장 닮은 패치들과 연결하는 것으로, 취미가 같은 사람들끼리만 어울리는 동호회와 같습니다.

그런 다음, 그들은 그래프 신경망(Graph Neural Network)이라는 특수한 유형을 사용하여, 이 패치들이 최종 결정을 내리기 전에 지도의 선을 따라 서로 "메시지를 전달"할 수 있도록 했습니다.

연구 결과

결과는 꽤 명확했습니다. 단순히 패치를 보고 투표했던 컴퓨터(베이스라인)는 **76.17%**의 정확도를 보였습니다. 여기에 "암시적" 학습(자기 지도 재구성)을 추가하자 정확도는 **77.12%**로 뛰었습니다. 하지만 진짜 마법은 명시적 지도를 추가했을 때 일어났습니다.

가장 뛰어난 성과를 낸 것은 특정 유형의 메시지 전달 네트워크인 그래프 어텐션 네트워크(GAT)와 그리드 그래프를 결합한 모델이었습니다. 피부 병변의 물리적 배치를 존중하도록 강제한 이 설정은 정확도를 **79.27%**까지 끌어올렸습니다. 이는 상당한 개선입니다! 두 번째의 더 큰 데이터셋(ISIC-2019)에서도 암시적 학습과 kNN 그래프(유사한 패치들을 연결)를 혼합한 동일한 전략이 정확도를 **60.67%**로 높였으며, 이는 암시적 학습만 사용했을 때의 **59.84%**를 능가했습니다.

연구진은 "만약"의 시나리오도 테스트했습니다. 만약 컴퓨터가 메시지로부터 배울 수 없고 고정된 사전 설정 지도만을 사용한다면 어떻게 될까요? 그래프 네트워크의 학습 부분을 "동결(freeze)"했을 때, 성능은 **34.28%**로 폭락했습니다. 이는 컴퓨터가 패치 간의 관계를 능동적으로 학습해야 한다는 것을 시사합니다. 단순히 지도를 가지고 있는 것만으로는 충분하지 않습니다. 학습 과정 자체가 차이를 만드는 핵심입니다.

이것이 왜 중요한가

이 논문은 비결이 단순히 더 많은 데이터나 더 큰 컴퓨터를 갖는 것이 아니라, 점들을 어떻게 연결하느냐에 있다는 점을 시사합니다. 컴퓨터가 스스로 패턴을 학습하는 능력(암시적)과 이미지의 서로 다른 부분을 비교하는 구조적인 방식(명시적)을 결합함으로써, 그들은 이전의 많은 방법보다 더 정확한 시스템을 만들었습니다. 실제로 그들의 단일 모델은 최대 90개의 복잡한 모델을 결합한 거대한 "앙상블(ensemble)" 방식의 예측과 거의 맞먹는 성능을 보여주었습니다.

저자들은 이 접근 방식이 각 부분 사이의 관계가 결정적인 역할을 하는 의료 영상 처리에 있어 유망한 방법이라고 결론지었습니다. 그들은 암시적 학습이 훌륭한 기초를 제공한다면, 명시적 관계 모델링을 추가하는 것은 그 기초 위에 튼튼한 지붕을 얹는 것과 같다는 것을 발견했습니다. 이는 AI의 세계에서, 때로는 컴퓨터에게 무엇을 볼 것인가뿐만 아니라, 보이는 것들 사이의 연결 고리를 어떻게 생각해야 하는지도 가르쳐야 한다는 점을 상기시켜 줍니다.

기술 요약: 피부 병변 진단을 위한 암시적 및 명시적 관계 편향의 통합

문제 정의
의료 영상 분석은 데이터 엔티티 간의 구조적 의존성을 효과적으로 포착하는 데 어려움을 겪는 경우가 많다. 심층 합성곱 신경망(CNN)은 계층적 수용 영역을 통해 공간적 의존성을 암시적으로 모델링하고, 슈퍼픽셀 기반 접근 방식은 그래프 신경망(GNN)을 사용하여 영역을 명시적으로 모델링하지만, 이러한 패러다임을 어떻게 최적으로 통합할 것인가에 대한 이해에는 여전히 격차가 존재한다. 구체적으로, 특징 추출 과정에서의 관계 모델링이 충분한지, 아니면 명시적인 그래프 기반 집계가 다운스트림 작업에 추가적인 이점을 제공하는지는 불분명하다. 또한, 주석이 달린 의료 데이터의 제한된 가용성은 단순한 지도 학습 미세 조정이나 임상적으로 유의미한 특징을 왜곡할 수 있는 데이터 증강에만 의존하지 않는 강력한 표현 학습 전략을 필요로 한다.

방법론
본 연구는 ISIC-2018 및 ISIC-2019 데이터셋을 사용하여 피부 병변 진단에 대해 평가된 이중 수준 관계 프레임워크를 제안한다. 방법론은 다음 세 가지 주요 단계로 구성된 통합 파이프라인을 따른다:

자기 지도 패치 표현 학습 (Self-Supervised Patch Representation Learning):
표준적인 엔드 투 엔드(end-to-end) 학습 대신, 저자들은 ViT 백본을 가진 합성곱 마스크 오토인코더(ConvMAE)를 채택하였다. 이미지는 14×14의 비중첩 패치(총 196개, 각 16×16 픽셀)로 분해된다. 모델은 마스킹된 영역을 재구성함으로써 레이블에 의존하지 않고 패치 간의 암시적 관계를 학습하도록 마스크 이미지 모델링(masked image modelling)을 통해 사전 학습된다. 인코더는 다운스트림 작업을 위한 일관된 특징 공간을 보장하기 위해 사전 학습 후 동결된다.
다중 인스턴스 학습 (MIL) 베이스라인:
동결된 인코더는 패치 임베딩을 생성하며, 이는 어텐션 기반 MIL(AMIL) 분류기를 위한 "패치들의 집합(bag of instances)" 역할을 한다. 이 베이스라인에서 패치는 독립적인 엔티티로 취급되며, 어텐션 메커니즘이 이들을 하나의 이미지 수준 표현으로 집계한다. 이는 명시적인 구조적 제약 없이(임베딩 공간을 통한) 암시적 관계 모델링을 활용하는 참조점 역할을 한다.
명시적 그래프 기반 집계 (Explicit Graph-Based Aggregation):
명시적인 관계적 귀납 편향(relational inductive biases)을 도입하기 위해, 패치 임베딩은 집계 전 그래프 토폴로지로 구성된다. 세 가지 구축 전략이 평가된다:

무작위 그래프 (Random Graphs): 노드가 $r$ 개의 무작위 이웃에 연결됨.
그리드 그래프 (Grid Graphs): 노드가 원래의 14×14 레이아웃에 따라 공간적으로 인접한 이웃(4- 또는 8-이웃)에 연결됨.
k-최근접 이웃 (kNN) 그래프: 노드가 특징 공간에서의 유클리드 거리에 따라 연결됨.

이 그래프들은 메시 전달(message passing)을 수행하여 패치 표현을 정교화하기 위해 그래프 어텐션 네트워크(GAT)를 통해 처리된다. 결과적인 노드 임베딩은 베이스라인에서 사용된 것과 동일한 어텐션 기반 MIL 풀링을 통해 집계된다.

주요 기여

이중 수준 프레임워크: 본 논문은 암시적 표현 학습(자기 지도 마스크 재구성을 통한)과 명시적 구조 모델링(그래프 기반 메시 전달을 통한) 사이의 가교 역할을 한다.
비교 분석: 표준 CNN 기반 분류, 자기 지도 패치 기반 MIL, 그리고 그래프 강화 MIL의 세 가지 패러다임을 체계적으로 비교한다.
관계 학습의 절제 실험 (Ablation of Relational Learning): "동결된 GNN" 설정(메시 전달 가중치가 고정된 경우)을 평가함으로써, 단순한 모델 용량 증가와 '학습된' 관계 모델링의 영향을 분리하여 고찰한다.
벤치마킹: 제안된 방식은 균형 정확도(balanced accuracy)를 주요 지표로 하여 두 개의 독립적인 피부 병변 벤치마크(ISIC-2018 및 ISIC-2019)에서 엄격하게 테스트되었다.

결과
실험 결과, 암시적 모델링과 명시적 모델링을 결합하는 것이 우수한 성능을 낸다는 것을 입증하였다:

ISIC-2018: 베이스라인인 EfficientNet-B3는 76.17%의 균형 정확도를 달성했다. 자기 지도 AMIL 베이스라인(암시적 모델링만 적용)은 이를 77.12%로 개선했다. 완전히 통합된 그리드 구조의 Graph Attention Network는 **79.27%**라는 가장 높은 성능을 달ien했다. 특히, GNN 레이어를 동결했을 때 성능이 크게 하락(34.28%로)했다는 점은 학습된 메시 전달이 매우 중요하다는 것을 확인시켜 준다.
ISIC-2019: 암시적 AMIL 방식은 59.84%에 도달했으며, kNN 그래프(k=4)와 GAT 레이어를 결합했을 때 **60.67%**를 달성했다.
비교: 제안된 단일 모델 접근 방식은 이전의 단일 모델 딥러닝 방법들보다 뛰어난 성능을 보였으며, ISIC-2018에서 복잡한 앙상블 방법(예: 25~90개의 모델 앙상블)과 경쟁할 만한 수준을 유지하면서도, 앙상블 없이 ISIC-2019에서 강력한 결과를 얻었다.

의의 및 주장
저자들은 본 연구가 패치 기반 분류에서 암시적 및 명시적 관계 모델링의 상호 보완적인 역할을 강조한다고 주장한다. 결과는 관계 정보가 자기 지도 사전 학습 중에 효과적으로 인코딩될 수 있으며, 명시적인 그래프 모델링을 통해 더욱 강화될 수 있음을 시사한다. 이 프레임워크는 강력한 일반화 능력을 보여주며, 대규모 앙상블에 의존하지 않는 효율적인 아키텍처 설계를 위한 가이드를 제공한다. 저자들은 자신들의 접근 방식이 특히 공간적으로 분산된 시각적 단서를 정확한 진단을 위해 통합하는 것이 필수적인 의료 영상 분석 분야에 강력한 토대를 제공한다고 강조한다.

유사한 논문