PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling

당신은 수천 페이지에 달하는 혼란스러운 의료 보고서들을 정리하려는 사서라고 상상해 보세요. 이 보고서들은 의사들이 전문 용어, 동의어, 그리고 까다로운 표현들로 가득 찬 길고 지저분한 문단으로 작성되어 있습니다. 예를 들어 "암의 징후 없음"(환자가 건강하다는 뜻) 이나 "감염 배제"(이 또한 환자가 건강하다는 뜻) 같은 표현들입니다.

당신의 목표는 나중에 컴퓨터가 이를 찾을 수 있도록 이 보고서들에 "낭종", "종양", "간 손상"과 같은 특정 라벨을 태그하는 것입니다. 이를 보고서 라벨링이라고 합니다.

여기에는 문제가 있습니다:

1. 기존 규칙 기반 시스템은 정확한 단어만 찾는 로봇과 같습니다. 보고서에 "지방간"이라고 적혀 있는데 당신의 목록에는 "Steatosis(지방간)"만 있다면, 로봇은 이를 놓칩니다. 보고서에 "종양 없음"이라고 적혀 있으면, 로봇은 "종양"이라는 단어를 보았기 때문에 혼란을 겪어 종양을 발견한 것으로 오해할 수 있습니다.
2. **일반적인 AI(딥러닝)**는 이 일을 수행하는 법을 배우기 위해 수천 권의 이미 태그가 된 책을 읽어야 하는 천재 학생과 같습니다. 하지만 병원에서는 의사들이 바빠 수천 개의 보고서에 태그를 달 시간이 없습니다. 우리는 태그가 달린 예시 (기껏해야 32 개) 만 아주 작은 더미로 가지고 있습니다. 학생은 충분히 공부하지 못했기 때문에 실패합니다.

등장: PromptRad

이 논문의 저자들은 PromptRad라는 새로운 도구를 만들었습니다. 이를 아주 적은 분량의 책만 가지고 공부해야 하는 그 천재 학생을 위한 영리한 공부 꿀팁이라고 생각하세요.

1. "빈칸 채우기" 트릭 (프롬프트 튜닝)

PromptRad 는 AI 에게 많은 데이터가 필요한 새로운 분류 방식을 배우게 하는 대신, 빈칸 채우기 게임으로 과제를 변환합니다. 이는 AI 가 의료 보고서를 보기 전에 이미 훈련받았던 방식과 정확히 일치합니다.

• 기존 방식: "이것이 보고서입니다. 종양이 있습니까? 예/아니오." (이것은 새로운 복잡한 뇌 구조를 필요로 합니다).
• PromptRad 방식: "방사선학 보고서는 [BLANK] 와 관련이 있습니다."
  • AI 는 빈칸에 들어갈 단어를 추측하기만 하면 됩니다. 만약 "Hepatoma(간세포암)"(종양의 일종) 라고 추측한다면, 시스템은 해당 보고서가 종양에 관한 것임을 알게 됩니다.

AI 는 이미 인터넷 전체를 읽으며 빈칸에 들어갈 단어를 추측하는 데 능숙하기 때문에, 아주 적은 새로운 학습 데이터로도 이 일을 매우 잘 수행할 수 있습니다.

2. "동의어 사전" (지식 강화형 버바라이저)

의료 용어는 까다롭습니다. 의사는 정확히 같은 것을 의미하기 위해 "HCC", "hepatoma", 또는 "liver cancer"라고 쓸 수 있습니다.

• 문제점: AI 가 "HCC"가 "Hepatocellular Carcinoma(간세포암)"를 의미한다는 것만 안다면, "hepatoma"라고 적힌 보고서는 놓칠 수 있습니다.
• 해결책: 저자들은 AI 에게 거대한 의학 동의어 사전인 UMLS 를 기반으로 한 특별한 다중 단어 사전을 제공했습니다.
  • 단순히 라벨 "Hepatocellular Carcinoma"를 단어 "HCC"에 매핑하는 대신, "HCC"와 "hepatoma" 모두에 매핑했습니다.
  • 이제 AI 가 빈칸을 채울 때 어느 쪽 단어를 사용하더라도 해당 라벨이 존재한다는 것을 알게 됩니다. 이로 인해 AI 는 훨씬 더 유연해졌으며, 의사가 다른 단어를 사용했다는 이유만으로 진단을 놓칠 가능성이 줄어듭니다.

3. "자동 교사" (자동 프롬프트 생성)

저자들은 또한 AI 가 가장 잘 학습할 수 있도록 "빈칸 채우기" 질문을 표현하는 다양한 방식을 자동으로 시도해 보는 시스템도 구축했습니다. 이는 마치 학생이 "아, 이제 알겠다!"라고 말할 때까지 개념을 설명하는 다양한 방식을 시도하는 교사와 같습니다.

그들은 무엇을 발견했나요?

이 팀은 실제 병원의 간 CT 보고서로 이를 테스트했습니다. 그들은 AI 에게 학습할 수 있도록 태그가 달린 보고서 32 개만 제공했습니다 (저자원 환경).

• 전문가들을 제치다: PromptRad 는 많은 동의어를 놓쳤던 기존 "규칙 기반" 로봇들보다 더 좋은 성과를 냈으며, 동일한 32 개의 예시에서 학습을 시도한 일반 AI 모델들보다 더 나은 결과를 보였습니다.
• 거인을 제치다: 놀랍게도 PromptRad 는 거대하고 매우 비싼 AI 모델인 GPT-4와 거의同等한 성능을 발휘했지만, PromptRad 는 일반 컴퓨터에서 실행 가능한 작고 가벼운 모델입니다.
• "아니오" 테스트: 의료 보고서에서 가장 어려운 부분은 부정 (예: "암의 증거 없음") 을 이해하는 것입니다. PromptRad 는 기존 규칙 기반 시스템보다 이러한 까다로운 "아니오" 문장을 훨씬 잘 이해했습니다.

왜 이것이 중요한가요?

이 논문은 PromptRad 가 수천 개의 태그가 달린 보고서가 없거나 민감한 환자 데이터를 대형 클라우드 회사 (OpenAI 등) 로 보내는 예산이 없는 병원들을 위한 실용적이고 저비용의 솔루션이라고 주장합니다. 이를 통해 작은 병원은 몇 개의 예시와 자체 로컬 컴퓨터만으로도 스마트한 라벨링 시스템을 구축할 수 있으며, 환자 데이터를 사적이고 안전하게 유지할 수 있습니다.

간단히 말해: PromptRad 는 "빈칸 채우기" 게임과 동의어 의학 사전을 활용하여 작은 AI 가 의료 보고서를 읽도록 가르치는 똑똑하고 가벼운 도구로, 아주 적은 양의 학습 데이터만으로도 완벽하게 작동할 수 있게 해줍니다.