An Agent-Based Concept Generation ApproachUsing Concept Bottleneck Models for ChestRadiograph Classification

기술 요약: 흉부 방사선 분류를 위한 개념 병목 모델을 이용한 에이전트 기반 개념 생성 접근법

문제 정의
딥러 모델은 자동화된 흉부 방사선 분류에서 높은 예측 정확도를 달성했지만, 임상 환경에 배치되는 데 있어 해석 가능성의 결여가 걸림돌이 되고 있다. 임상의들은 모델의 동작이 검사 가능하고 의구심을 가질 수 있어야 하는 고위험 환경에서, 모델 출력에 대한 신뢰를 위해 투명한 추론 경로를 요구한다. 개념 병목 모델(Concept Bottleneck Models, CBM)은 예측을 최종 질병 레이블로 매핑하기 전, 중간 단계의 임상적으로 의미 있는 개념들로 분해함으로써 해결책을 제시한다. 그러나 표준 CBM은 사전에 정의된 개념 어휘와 수동적인 개념 수준 주석에 의존하며, 이는 NIH ChestXray14와 같은 대규모 데이터셋에 적용하기에는 비용이 많이 들고 확장하기 어렵다. 또한, 기존의 레이블 프리(label-free) 방식은 생성된 개념 공간의 의미론적 일관성과 임상적 관련성 확보에 어려움을 겪는 경우가 많다.

방법론
본 연구는 에이전트 기반의 개념 생성 파이프라인과 레이블 프리 및 지도 학습 기반 CBM 공식을 통합한 다중 레이블 흉부 질환 분류를 위한 통합 프레임워크를 제안한다.

1. 데이터셋: 본 연구는 15개의 질병 레이블이 포함된 112,120개의 전면 흉부 방사선 사진으로 구성된 NIH ChestXray14 데이터셋을 활용하였다. 데이터는 훈련(70%) 및 검증(30%) 세트로 분할되었으며, 이미지는 224×224 픽셀로 표준화되었다.
2. 에이전트 기반 개념 생성: 수동 주석 없이 질병별 개념 세트를 생성하기 위해 새로운 다단계 파이프라인을 개발하였다.
   • UMLS 통합: LangChain과 GPT-4o를 사용하는 에이전트 기반 프레임워크가 Unified Medical Language System(UMLS)으로부터 개념을 검색하도록 조율한다. 워크플로우는 질병 용어 검색, 관련 개념 고유 식별자(CUI) 선택, 메타데이터 추출, 그리고 관련 개념 확장을 포함한다.
   • 필터링: 생성된 개념은 중복, 지나치게 일반적인 용어, 비시각적 소견, 그리고 길이 제한(3~50자)을 통과하지 못한 문자열을 제거하기 위해 체계적인 필터링 과정을 거친다.
   • 평가: 생성된 개념 세트는 커버리지, 품질(노이즈/중복 페널티), 다양성, 관련성(질병명과의 의미론적 정렬), 그리고 의미론적 다양성을 결합한 가중치 점수를 통해 정량적으로 평가된다.
3. 레이블 프리 CBM (LF-CBM): 사전 학습된 시각적 백본(ResNet 변형 또는 CLIP 이미지 인코더)이 특징을 추출하는 레이블 프리 CBM 프레임워크를 구현하였다. 이러한 특징들은 생성된 개념의 CLIP 텍스트 임베딩과 정렬된 개념 공간으로 투영된다. 이후 희소 선형 분류기(sparse linear classifier)가 개념 활성화를 질병 레이블로 매핑한다. 훈련은 투영된 코사인 유사도 손실(projected cosine similarity loss)을 최적화한 후 희소성이 규제된 로지스틱 회귀(SAGA)를 따르는 방식으로 진행된다.
4. 지도 학습 기반 CBM: 비교를 위해, EfficientNet-B1 백본과 CLIP ViT-B/32 텍스트 임베딩(개념 프로토타입)으로 표현되는 고정된 개념 어휘를 사용하는 지도 학습 기반 CBM을 훈련하였다. 이 모델은 높은 성능과 해석 가능성을 제공하는 베이스라인으로서 엔드투엔드(end-to-end) 방식으로 바이너리 크로스 엔트로피 손실을 사용하여 훈련되었다.

주요 기여

• 에이전트 기반 UMLS 개념 생성: 본 연구의 주요 방법론적 기여는 UMLS API를 활용하여 개념 세트를 생성하고 정제하는 자동화된 에이전트 구동 파이프라인을 도입한 것이다. 이 접근법은 표준 의료 용어(CUI)에 개념을 근거하게 함으로써, 자유 텍스트 생성 방식에 비해 용어의 일관성과 추적 가능성을 향상시킨다.
• CBM 공식의 비교 평가: 레이블 프리 CBM(개념 주석 없이 훈련됨)과 지도 학습 기반 CBM 공식을 엄격히 비교하여, 개념의 품질이 예측 판별력과 해석 가능성에 미치는 영향을 평가하였다.
• 체계적인 개념 품질 지표: 모델 훈련 전 자동 생성된 개념 세트의 유용성을 평가하기 위해 다차원적 점수 체계(커버리지, 품질, 다양성, 관련성, 의미론적 다양성)를 정의하고 적용하였다.

결과

• 개념 세트 품질: UMLS가 강화된 개념 세트가 기본 개념 세트보다 일관되게 우수한 성능을 보였다. UMLS 세트는 질병당 평균 개념 수를 43.4개에서 140.1개로 증가시켰으며, 14개 질병 클래스 전반에 걸쳐 전체 품질 점수를 0.873에서 0.901로 향상시켰다.
• 레이블 프리 성능: 가장 우수한 LF-CBM 구성(UMLS 기반 개념, ResNet101 백본, CLIP ViT-B/16 인코더)은 0.702의 macro mean ROC-AUC를 달성하였다. 이는 가장 우수한 기본 개념 세트 구성(0.691)보다 높은 수치로, 임상적으로 근거가 명확한 개념 구축이 레이블 프리 모델의 성능을 개선함을 입증한다.
• 지도 학습 성능: 지도 학습 기반 EfficientNet-B1 CBM은 macro mean ROC-AUC 0.8196을 달 기록하며, 모든 LF-CBM 변형 모델을 유의미하게 앞질렀으며 비-병목(non-bottleneck) 베이스라인인 0.8402에 근접하였다.
• 클래스별 성능: 지도 학습 모델은 폐기종(Emphysema, 0.9101), 심비대(Cardiomegaly, 0.8878), 기흉(Pneumothorax, 0.8826), 부종(Edema, 0.8825)에서 가장 높은 성능을 보였다. 침윤(Infiltration), 폐렴(Pneumonia), 결절(Nodule)에서는 낮은 성능이 관찰되었다.
• 정성적 분석: 설명 예시들은 모델이 임상적으로 의미 있는 개념(예: 흉수와 관련된 흉막 용어)을 활성화함을 확인해주었으나, 동시에 광범위하거나 다국어적인 개념과 같은 잔여 노이즈를 부각하기도 하여, 자동 생성된 개념 공간이 아직 완벽하게 정제되지 않았음을 나타냈다.

의의 및 주장
본 논문은 임상적으로 근거가 명확한 개념 구축이 흉부 방사선 분야의 개념 병목 모델링을 강화하는 데 결정적인 요소라고 주장한다. 연구 결과는 레이블 프리 CBM이 개념 주석이 없는 경우 해석 가능성을 위한 실용적인 경로를 제공하지만, 그 성능은 개념 공간의 품질에 의해 제한된다는 것을 시사한다. 반대로, 지도 학습 기반 병목 모델은 현재 높은 예측 판별력과 구조화된 해석 가능성 사이의 최적의 균형을 제공한다.

본 연구는 의료용 CBM의 향후 발전이 단순히 네트워크 아키텍처뿐만 아니라 "임상적으로 의미 있는 개념 엔지니어링"에 달려 있다고 결론짓는다. 저자들은 개념 수준의 투명성이 반드시 임상적 타당성을 보장하는 것은 아니며, 따라서 온톨로지 기반의 정제, 외부 검증, 그리고 설명 품질에 대한 임상의 중심의 평가에 대한 추가적인 연구가 필요함을 강조한다. 본 연구는 투명한 의료 AI를 위한 개념 병목 프레임워크의 실행 가능성을 뒷받침하는 동시에, 의미론적 충실도를 보장하기 위한 엄격한 개념 큐레이션의 필요성을 역설한다.