Regulatory Approval Is Not Enough: Gaps in Trustworthy AI Reporting in FDA-Cleared Medical Devices

기술 요약: 규제 승인은 충분하지 않다: FDA 승인 의료 기기의 신뢰할 수 있는 AI 보고의 격차

문제 제기
인공지능 및 머신러닝(AI/ML) 기반 의료 기기가 임상 의사 결정에 점점 더 통합됨에 따라, 이러한 시스템이 임상의, 환자 및 대중의 신뢰를 뒷받로하기 위해 '신뢰할 수 있는 AI'의 핵심 차원들을 입증해야 한다는 기대가 커지고 있다. 미국 식품의약국(FDA)과 같은 규제 기관은 510(k), De Novo, 그리고 시판 전 승인(PMA)과 같은 경로를 통해 이러한 기기들을 평가하고 승인하지만, 공개된 규제 문서가 승인된 AI 시스템의 신뢰성을 독립적으로 평가하기에 충분한 근거를 제공하는지는 여전히 불분명하다. 선행 연구들은 검증 데이터셋의 인구통계학적 보고 누락과 같은 구체적인 투명성 격차를 강조해 왔으나, FDA 요약 보고서 내에서 더 넓은 의미의 신뢰할 수 있는 AI 원칙—특히 공정성(Fairness), 보편성(Universality), 추적 가능성(Traceability), 사용성(Usability), 견고성(Robustness), 설명 가능성(Explainability)을 다루는 FUTURE-AI 프레임워크—에 대한 포괄적인 평가는 부족한 실정이다.

방법론
본 연구는 2021년부터 2025년 사이에 발표된 FDA AI/ML 기반 의료 기기 요약 보고서에 대한 체계적 분석을 수행하였다.

• 데이터 수집: 초기 1,105개의 보고서 풀을 추출하였다. 맞춤형 Python 스크립트(Python 3.12.7)를 사용하여 PDF를 자동으로 다운로드하고 FUTURE-AI 원칙(예: "fairness", "robustness", "explainability", "traceability")에서 파생된 키워드를 검색하였다.
• 스크리닝 및 검증: 보고서는 자동 키워드 스크리닝을 거친 후, 7명의 연구자로 구성된 팀의 다단계 수동 합의 검토를 거쳤다. 연구팀은 제조사의 용어를 6가지 FUTURE-AI 원칙에 매핑하기 위해 범주화 프레임워크를 정교화하였다.
• 근거 평가: 본 연구는 키워드의 표면적 언급과 의미 있는 근거를 구분하는 엄격한 프로토콜을 적용하였다. 특정 원칙에 대해 긍정적으로 점수를 부여하기 위해서는, 합의된 표에 정의된 바와 같이 구체적인 근거(예: 공정성을 위한 하위 그룹 분석, 견고성을 위한 스트레스 테스트, 또는 설명 가능성을 위한 SHAP 맵)를 제공해야 했다. 초기 키워드 트리거가 없는 보고서 또한 비표준화된 용어로 인해 관련 근거를 놓치지 않도록 수동 검토를 수행하였다.
• 통계 분석: 기술적, 시간적, 임상 영역별 기술 통계 분석을 수행하였다. 승인 연도나 임상 영역(영상의학 vs 비영상의학)이 "높은 보고 투명성"(3개 이상의 원칙에 대한 근거를 포함한 보고서로 정의됨)을 예측하는지 확인하기 위해 다변량 로지스틱 회귀 분석을 사용하였다.

주요 기여
본 연구는 공개적으로 사용 가능한 FDA 요약 보고서 전반에 걸친 신뢰할 수 있는 AI 근거 보고의 첫 번째 체계적 벤치마크를 구축한다. 주요 기여는 다음과 같다:

1. 보고 격차의 정량화: 현재의 규제 문서가 6가지 FUTURE-AI 원칙을 평가하는 데 어느 정도까지 지원하는지에 대한 세밀한 평가를 제공한다.
2. 근거의 차별화: 단순한 키워드 카운팅을 넘어 근거의 질과 성격을 평가한다(예: 일반적인 사용성 준수와 AI 특유의 인간-AI 상호작용 근거를 구분함).
3. 체계적 분석: 보고 투명성이 임상 전문 분야에 따라 달라지는지, 혹은 규제 성숙도와 함께 개선되는지를 조사하여 규제 성숙도가 더 나은 공개와 상관관계가 있다는 가설을 검증한다.

결과
초기 1,105개의 보고서 중 필터링 후 519개가 최종 분석에 포함되었다. 결과는 신뢰할 수 있는 AI 보고에 있어 상당하고 불균형한 격차가 있음을 보여준다:

• 전반적인 투명성: 거의 4분의 1(24.7%)의 보고서가 6가지 원칙 중 어떤 것에 대해서도 근거를 제공하지 않았다. 6가지 원칙 모두에 대한 근거를 기록한 보고서는 단 하나도 없었다. 대부분의 보고서(29.1%)는 단 하나의 원칙에 대해서만 근거를 제공했다.
• 원칙별 격차:
  • **견고성(Robustness)**이 가장 빈번하게 보고된 원칙(57.6%)이었으며, 주로 회고적 검증 및 재현성 테스트를 통해 뒷받침되었다.
  • 보편성(Universality)(33.5%), 사용성(Usability)(26.2%), 공정성(Fairness)(25.0%)은 중간 정도의 보고율을 보였다.
  • 추적 가능성(Traceability)(8.3%)와 설명 가능성(Explainability)(3.5%)는 가장 두드러진 격차를 나타냈으며, 감사 메커니즘이나 해석 가능한 모델 출력을 공개한 보고서는 매우 적었다.
• 시간적 및 도메인 트렌드: 승인 연도(OR 1.02, p=0.71)나 임상 영역(OR 0.73, p=0.17) 모두 높은 보고 투명성과 유의미한 연관성을 보이지 않았다. 공정성 보고는 완만한 상승 추세(2021년 12.8%에서 2025년 33.5%로)를 보였으나, 설명 가능성은 여전히 심각하게 과소 보고되었다(5.5%를 초과한 적이 없음).
• 근거의 성격: 보고는 AI 특유의 임상의 신뢰, 워크플로 통합 또는 고급 편향 완화 전략보다는 기술적 성능 및 문서화(예: 사용성을 위한 IEC 62366 준수)를 우선시하는 경향이 있었다.

의의 및 주장
저자들은 FDA 규제 문서에 신뢰할 수 있는 AI와 관련된 상당하고 지속적인 격차가 존재한다고 주장한다. 본 연구는 규제 승인 그 자체를 신뢰성의 대리 지표로 간주해서는 안 된다고 결론짓는다. 부상하는 신뢰할 수 있는 AI에 대한 기대(예: EU AI 법 및 미국 행정명령 14110)와 공개된 증거 사이의 괴리는 현재의 보고 관행이 독립적인 평가를 수행하기에 불충분함을 시사한다.

본 논문은 표준화되고 감사 가능한 형태의 보고가 AI 생애주기 전반에 걸쳐 이루어지지 않는다면, 임상의와 의료 시스템이 이러한 기기의 안전성, 공정성 또는 신뢰성을 완전히 평가할 수 없다고 주장한다. 저자들은 자발적이고 이질적인 보고에서 벗어나, 모든 신뢰할 수 있는 AI 차원에 걸쳐 균형 잡힌 공개를 보장하는 구조화되고 표준화된 템플릿으로 전환할 것을 옹호하며, 이를 통해 책임 있는 도입을 지원하고 의료 AI에 대한 대중의 신뢰를 유지할 것을 제안한다.