1. 연구 배경 및 문제 제기 (Problem)

• 의료 분야 LLM 의 확산과 편향 우려: 대규모 언어 모델 (LLM) 이 의료 텍스트 생성 및 임상 의사결정에 점차 활용되고 있으나, 인종적 편향 (racial bias) 이 의료 불평등을 심화시킬 수 있다는 우려가 제기됨.
• 기존 연구의 한계: 기존 연구들은 주로 단일 모델에 초점을 맞추거나 편향의 존재를 확인하는 데 그쳤으며, 편향을 완화 (mitigation) 하는 구체적인 방법론이나 다중 모델 비교 연구는 부족함.
• 규제적 맥락: 유럽연합 (EU) 의 AI 법 (EU AI Act) 은 의료용 고위험 AI 시스템에 대해 위험 관리, 데이터 거버넌스, 투명성 등을 요구하지만, 이를 편향 평가의 거버넌스 렌즈 (lens) 로 활용하여 체계적으로 평가한 연구는 드묾.

2. 연구 방법론 (Methodology)

이 연구는 EU AI 법의 원칙 (위험 관리, 투명성, 인간 감독 등) 을 평가 프레임워크의 기반으로 삼아 진행되었습니다.

가. 실험 설계 (Experimental Design)

• 평가 대상 모델: ChatGPT-4.1, Llama 3.3, DeepSeek V3, Grok 3, Gemini 2.5 Pro 등 5 가지 주요 LLM.
• 평가 태스크:
  1. 시뮬레이션 환자 사례 생성 (Implicit Bias 평가): 18 가지 질병 중 10 가지 (COVID-19, 폐렴, HIV 등) 에 대해 인종별 역학 분포 (미국 기준) 와 비교하여 모델이 생성한 환자 사례의 인종 분포 편향을 측정.
  2. 감별 진단 순위 매기기 (Explicit Bias 평가): NEJM Healer 벤치마크의 실제 임상 사례 10 건을 기반으로, 환자의 인종 태그만 변경하여 모델이 생성한 감별 진단 (Differential Diagnosis) 리스트가 전문가 기준과 얼마나 일치하는지 순위 차이로 측정.
• 통계적 분석:
  • 시뮬레이션 태스크: 카이제곱 적합도 검정 (Chi-square goodness-of-fit test) 및 베네만 - 호치버그 (Benjamini-Hochberg) 보정을 적용.
  • 감별 진단 태스크: 만 - 휘트니 U 검정 (Mann-Whitney U test) 을 사용하여 인종 그룹 간 순위 차이를 분석 (p-value, 평균 차이 등 다중 지표 사용).

나. 에이전트 워크플로우 (Agentic Workflow) 구현

• 목표: 편향이 가장 낮은 모델에 검색 기반 에이전트 워크플로우를 적용하여 편향을 추가로 완화하는지 검증.
• 구현 도구: Flowise 플랫폼 사용.
• 아키텍처:
  • Search Agent: 웹 검색 (Brave Search) 을 통해 관련 정보 수집 및 초기 진단 리스트 생성.
  • RAG Agent (Retrieval-Augmented Generation): 실제 환자 사례와 전문가 진단 리스트로 구축된 벡터 지식 베이스 (Vector DB) 를 활용. 검색 에이전트 결과 (가중치 10%) 와 지식 베이스 검색 결과 (가중치 90%) 를 결합하여 최종 진단 생성.
• 프로세스: 실제 환자 사례 입력 $\rightarrow$ 인종 태그 교체 $\rightarrow$ 검색 및 RAG 에이전트协同 $\rightarrow$ 최종 감별 진단 출력.

3. 주요 결과 (Key Results)

가. 실험 I: 단일 모델 편향 평가

• 시뮬레이션 환자 생성 (암묵적 편향): 모든 모델이 실제 역학 분포에서 유의미하게 벗어났으나, GPT-4.1이 평균 카이제곱 통계량 (152.23) 에서 가장 작은 편차를 보이며 가장 낮은 암묵적 편향을 가짐.
• 감별 진단 순위 (명시적 편향):
  • DeepSeek V3가 모든 지표 (평균 p-value 0.7859, 중앙값 p-value 0.8834, 평균 차이 0.2588) 에서 가장 우수한 성능을 보임.
  • GPT-4.1 은 암묵적 편향에서는 우수했으나, 명시적 편향 (감별 진단) 평가에서는 DeepSeek V3 보다 성능이 낮았음.
  • 다른 모델들 (Gemini, Llama, Grok) 은 인종 간 편향 (특히 아시아계 vs 흑인/백인 비교) 에서 유의미한 편차를 보임.

나. 실험 II: 에이전트 워크플로우 적용 효과

• DeepSeek V3 기반 에이전트 워크플로우를 적용한 결과, 독립적인 모델 사용 대비 편향 완화 효과가 확인됨.
  • 평균 p-value: 0.7859 $\rightarrow$ 0.8207 (증가, 편향 감소 의미)
  • 중앙값 p-value: 0.8834 $\rightarrow$ 1.0000
  • 평균 차이 (Mean Difference): 0.2588 $\rightarrow$ 0.1639 (감소, 인종 간 격차 축소)
  • 편향 탐지율: 0.0000 $\rightarrow$ 0.0167 (약간 증가했으나 여전히 다른 모델 대비 낮음).
• 결론: 에이전트 워크플로우는 특정 지표에서 편향을 완화했으나, 모든 지표에서 균일한 개선을 보인 것은 아님.

4. 주요 기여 (Key Contributions)

1. 다중 모델 및 다중 태스크 편향 평가: 단일 모델이 아닌 5 가지 LLM 을 대상으로 암묵적 (생성) 과 명시적 (의사결정) 편향을 동시에 평가한 포괄적인 벤치마킹 제공.
2. 규제 프레임워크의 실증적 적용: EU AI 법의 원칙을 단순한 법적 준수가 아닌, 편향 평가 및 문서화 구조를 위한 거버넌스 도구로 활용.
3. 에이전트 워크플로우를 통한 편향 완화 검증: RAG 기반의 에이전트 워크플로우가 의료 진단 태스크에서 LLM 의 명시적 편향을 완화할 수 있음을 실증적으로 증명.
4. 오픈 소스 리소스 공개: 실험에 사용된 프롬프트 템플릿, 데이터셋, 코드 파이프라인을 GitHub 에 공개하여 재현성과 투명성 확보.

5. 의의 및 시사점 (Significance)

• 의료 AI 의 안전성 강화: 의료 분야에서 AI 시스템이 인종적 편향을 재생산하거나 악화시키는 것을 방지하기 위해, 단순한 모델 선택을 넘어 검색 기반 에이전트 아키텍처가 효과적인 완화 전략이 될 수 있음을 시사.
• 다중 지표 평가의 중요성: 편향 평가는 단일 지표 (예: 정확도) 로는 부족하며, 통계적 유의성, 분포 차이, 인종 간 격차 등을 종합적으로 측정하는 다중 지표 (Multi-metric) 접근법이 필요함을 강조.
• 규제 준수와 기술적 혁신의 결합: EU AI 법과 같은 규제 프레임워크가 기술 개발 단계에서 편향 관리의 가이드라인으로 작용할 수 있음을 보여줌.

6. 한계 및 향후 과제

• 현재 워크플로우에는 인간 감독 (Human-in-the-loop) 요소가 포함되지 않아 실제 임상 환경 적용 시 추가 검증 필요.
• 편향 분석이 진단 순위 차이에 집중되었으므로, 향후 진단 정확도 (Accuracy), 재현율 (Recall) 등 성능 지표와의 상관관계 분석 필요.
• 에이전트 워크플로우의 효과를 환자 사례 생성 (Synthetic Generation) 태스크로 확장하여 검증 필요.