기술 요약: ABRA – 방사선학 응용을 위한 에이전트 벤치마크

문제 제기

기존 의료 에이전트 벤치마크는 일반적으로 사전에 선택된 정적 샘플 (예: 단일 이미지 또는 연결된 환자 기록) 로 영상 데이터를 제공합니다. 이러한 접근 방식은 에이전트가 복잡하고 상호작용적인 환경을 탐색하여 특정 소견을 찾아내고, 검사하며, 주석해야 하는 방사선학 워크플로우의 현실을 포착하지 못합니다. 현재 의료 에이전트 벤치마크는 영상을 고정된 입력이 아닌 쿼리 가능한 환경으로 취급하지 않아, 도구 오케스트레이션과 시각적 지각을 분리합니다. 또한, RadABench 와 같은 이전의 방사선학 특화 벤치마크는 계획 능력을 상한선으로 설정하기 위해 영상 입력을 플레이스홀더 토큰으로 대체하는 상징적 시뮬레이터를 사용하며, 시각적 지각을 평가 범위에서 명시적으로 배제합니다.

에이전트를 실제 방사선학 워크스테이션 내부에 배치하여, 실제 DICOM 데이터에 대한 도구 기반 탐색, 윈도우 조정, 주석 작성을 수행하게 하면서 동시에 이러한 도구들을 오케스트레이션하고 시각적 정보를 지각하는 능력을 측정하는 벤치마크가 시급히 필요합니다.

방법론

ABRA 환경

ABRA 는 다음과 같이 구성 가능한 실행 가능한 방사선학 워크스테이션 스택을 구축합니다:

1. OHIF Viewer: 내부 상태를 노출하기 위해 사용자 정의 인터페이스가 확장된 오픈소스 방사선학 뷰어 (v3.9.0).
2. Orthanc PACS: 영상 데이터를 호스팅하는 Picture Archiving and Communication System 으로 작용하는 DICOM 서버.
3. Controller Bridge: 에이전트와 뷰어 간의 상호작용을 관리하는 헤드리스 브라우저 드라이버 (Puppeteer) 와 Python 전처리 사이드카.

이 환경은 21 개의 도구로 구성된 통일된 함수 호출 인터페이스를 통해 에이전트에게 노출됩니다. 이러한 도구들은 다음과 같이 분류됩니다:

• 관찰 카테고리: 메타데이터 쿼리 (DICOM 태그), 뷰어 스크린샷, DICOM 픽셀 검색 (서로 다른 모달리티를 위한 6 가지 고유한 전처리 파이프라인을 통해), 오라클 예측 (시뮬레이션된 외부 CAD 모델).
• 행동 클래스: 탐색/표시 (슬라이스 스크롤링, 윈도우/레벨 조정, 확대/축소, 시리즈 전환), 분할 (픽셀 좌표에 원, 경계 상자, 다각형 배치), 보고 (구조화된 BI-RADS 보고서, 종단적 소견, 또는 자유 텍스트 답변).

작업 생성 및 벤치마크 구조

이 벤치마크는 세 가지 공개 TCIA 데이터셋에서 파생된 655 개의 프로그래밍 방식으로 생성된 작업을 포함합니다:

• LIDC-IDRI: 다수 방사선 전문의의 합의 결절이 포함된 흉부 CT.
• Duke Breast Cancer MRI: BI-RADS 라벨이 포함된 다중 시퀀스 유방 MRI.
• NLST New-Lesion LongCT: 새로운 병변 주석이 있는 기저선 및 추적 CT 쌍.

작업은 세 가지 난이도 등급 (쉬움, 중간, 어려움) 과 여덟 가지 작업 유형으로 분류됩니다:

• 쉬움: 뷰어 제어, 메타데이터 QA, 비전 프로브 (모달리티 인식).
• 중간: 주석 작성 (병리 인식 및 윤곽선 그리기) 및 오라클 주석 작성 (시뮬레이션된 탐지기 소견에 따른 행동).
• 어려움: 종단적 비교 (시간 경과에 따른 새로운 병변 탐지) 및 BI-RADS 보고 (전체 MRI 연구에 대한 구조화된 보고).

주요 설계 특징은 지각 중심 작업에 대한 쌍을 이루는 오라클/실제 변형입니다. "오라클" 변형에서는 에이전트가 시뮬레이션된 탐지기로부터 구조화된 소견을 제공받고 이를 보고하기 위해 도구만 오케스트레이션해야 합니다. "실제" 변형에서는 에이전트가 픽셀 수준의 도구에 접근하여 소견을 직접 지각해야 합니다. 이 설계는 시각적 지각을 도구 오케스트레이션으로부터 분리합니다.

평가 프레임워크

Bluethgen 등 [2025] 이 제안한 프레임워크를 채택하여, ABRA 는 자동 채점기를 사용하여 에피소드를 세 가지 차원에 따라 점수화합니다:

1. 계획 (20% 가중치): 에이전트의 도구 호출 궤적을 프로그래밍된 참조 궤적과 비교 (순서 없는 다중 집합 매칭) 하여 워크플로우 효율성을 평가합니다.
2. 실행 (30% 가중치): 도구 호출의 성공, 매개변수 품질, 턴 효율성, 오류 복구를 평가합니다.
3. 결과 (50% 가중치): 최종 산출물 (예: 분할의 IoU, 메타데이터의 정확한 일치, 또는 BI-RADS 보고서의 필드 일치) 을 기반으로 작업 성공을 측정합니다.

종합 점수는 $S = 0.20P + 0.30E + 0.50O$로 계산됩니다.

주요 결과

저자들은 ABRA 에서 현재의 열 가지 모델 (다섯 가지 폐쇄 가중치 및 다섯 가지 개방 가중치) 을 평가했습니다:

• 도구 오케스트레이션 대 지각: 모델들은 도구 오케스트레이션에서 높은 능력을 보여주었습니다. 실행 점수는 모든 등급과 모델에서 일관되게 천장에 근접 (약 0.90–1.00) 하여, 에이전트가 뷰어를 성공적으로 탐색하고 메타데이터를 쿼리하며 제출 행동을 호출할 수 있음을 나타냅니다.
• 지각 병목 현상: 오라클 변형과 실제 변형 사이에 상당한 성능 격차가 관찰되었습니다.
  • 오라클 주석 작성 및 오라클 BI-RADS 작업 (지각이 우회됨) 에서 모델들은 0.69 에서 1.00까지의 결과 점수를 달성했습니다.
  • 실제 주석 작성 작업 (DICOM 픽셀의 시각적 지각 필요) 에서 결과 점수는 전체 모델 목록에 걸쳐 0.00–0.25로 급락했습니다.
  • 마찬가지로, 어려움 등급 작업에서 종단적 새로운 병변 탐지 (시각적 위치 확인 필요) 는 거의 0 점에 가까운 결과를 낳은 반면, BI-RADS 보고 (기존 정보에 기반한 추측 허용) 는 중간 점수 (0.06–0.64) 를 달성했습니다.
• 모델 성능: 단일 모델도 실제 변형에서 높은 성과를 거두지 못했습니다. 일부 모델 (예: Gemini 3 Flash) 이 특정 결절 탐지 작업에서 약간 더 나은 성능을 보였지만, 전반적인 경향은 현재 최첨단 모델들이 실제 DICOM 데이터에서 작동할 때 "도구 능력은 있으나 지각은 제한적"임을 나타냅니다.

중요성 및 주장

이 논문은 ABRA 를 현재 AI 에이전트의 임상 준비성에 대한 판결이 아닌, 방사선학에서 도구 오케스트레이션과 시각적 지각 사이의 특정 격차를 측정하는 측정 기질로 위치시킵니다.

• 최초의 라이브 뷰어 벤치마크: ABRA 는 정적 데이터셋이나 상징적 시뮬레이터가 아닌 라이브 임상 뷰어 (OHIF) 내부에 에이전트를 배치한 최초의 의료 에이전트 벤치마크로 주장됩니다.
• 병목 현상 분리: 오라클 변형과 실제 변형을 비교함으로써, 저자들은 현재 에이전트의 주요 제약이 도구 호출을 계획하거나 실행하는 능력이 아닌 시각적 지각임을 입증합니다.
• 운영적 함의: 결과는 임상 보조 도구의 단기 운영 지점은 소견을 제공하는 전문화된 지각 모델과 이러한 소견을 중심으로 워크플로우를 오케스트레이션하는 대규모 언어 모델 (LLM) 의 조합임을 시사합니다.
• 한계: 저자들은 참조 궤적이 방사선 전문의가 검증한 것이 아닌 프로그래밍된 것이며, 데이터셋 범위가 세 가지 TCIA 코호트 (유방 촬영, 초음파 등 제외) 로 제한되어 있고, 작업은 EHR 통합 또는 다중 에이전트 협업을 포함하는 복잡한 임상 워크플로우의 완전한 재현이 아닌 처리 가능한 대리 작업임을 인정합니다.

요약하자면, ABRA 는 방사선학 에이전트를 평가하기 위한 엄격하고 상호작용적인 환경을 제공하며, 에이전트가 방사선학 워크스테이션 인터페이스를 효과적으로 관리할 수는 있지만, 현재는 원시 의료 영상 데이터를 자율적으로 해석하는 데 필요한 견고한 시각적 지각이 부족함을 드러냅니다.