Ablation Study of a Fairness Auditing Agentic System for Bias Mitigation in Early-Onset Colorectal Cancer Detection

1. 연구 배경 및 문제 정의 (Problem)

• 임상 AI 의 편향과 안전성 위험: 인공지능 (AI) 이 임상 현장에 빠르게 도입되고 있지만, 사후 모니터링과 도메인 전문성이 부족하여 알고리즘 편향과 안전성 위험이 지속되고 있습니다. 특히 조기 발병 대장암 (EO-CRC) 은 인종, 민족, 사회경제적 지위에 따른 심각한 건강 격차가 존재하는 분야입니다.
• 전문성 병목 현상 (Expertise Bottleneck): 의료 시스템은 예측 모델을 빠르게 배포하지만, 이를 엄격하게 감사 (Audit) 할 인력과 인프라가 부족합니다. 기존 수동 감사 방식은 확장성이 낮고, 지연이 발생하며, 특정 임상 맥락 (예: 우울증 검사의 민감도 우선 vs VBAC 예측의 특이도 우선) 에 맞는 전문적 판단이 필요합니다.
• 해결 과제: 자동화된 에이전트 시스템이 임상 문헌을 기반으로 민감한 속성 (Sensitive Attributes) 을 식별하고, 맥락에 맞는 공정성 지표 (Fairness Metrics) 를 추천하여 AI 모델의 편향을 자동으로 감시할 수 있는지가 핵심 질문입니다.

2. 방법론 (Methodology)

이 연구는 RAG(검색 증강 생성) 와 에이전트 아키텍처를 결합한 2 단계 시스템을 개발하고, 이를 다양한 크기의 LLM(대형 언어 모델) 에서 절제 연구 (Ablation Study) 를 통해 평가했습니다.

A. 시스템 아키텍처

두 개의 LLM 기반 에이전트로 구성됩니다:

1. 도메인 전문가 에이전트 (Domain Expert Agent):
   • 역할: EO-CRC 관련 임상 문헌 (PubMed 등) 을 검색하여 건강 불평등의 원인 (인종, 사회경제적 지위 등) 을 식별하고 구조화된 목록과 서술적 근거를 생성합니다.
   • 입력: 39 편의 관련 논문 (22 편의 불평등 연구 + 17 편의 일반 EO-CRC 논문).
2. 공정성 컨설턴트 에이전트 (Fairness Consultant Agent):
   • 역할: 에이전트 1 의 출력을 기반으로 특정 임상 맥락에 적합한 공정성 지표 (예: Equal Opportunity, False Negative Rate Parity) 와 민감 속성을 추천합니다.
   • 입력: 외부 '공정성 지표 라이브러리' 및 에이전트 1 의 결과.

B. 실험 설계 (Ablation Study)

세 가지 크기의 오픈 소스 LLM(Ollama 프레임워크 사용) 을 사용하여 세 가지 구성을 비교했습니다:

1. Pretrained LLM-only: RAG 없이 모델의 사전 학습 지식만 사용.
2. Agent without RAG: 에이전트 프레임워크는 사용하지만 외부 지식 검색 (RAG) 은 수행하지 않음.
3. Agent with RAG (Full System): 에이전트 프레임워크와 외부 지식 검색 (RAG) 을 모두 활성화.

• 사용된 모델:
  • Llama 3.1 (8B 파라미터)
  • GPT-OSS (20B 파라미터)
  • GPT-OSS (120B 파라미터)
• 평가 지표: 생성된 출력과 전문가가 작성한 'Ground Truth(참조 문장)' 간의 의미적 유사도 (Semantic Similarity, Cosine Similarity) 를 측정하여 추천의 질을 평가했습니다.

3. 주요 결과 (Key Results)

A. 에이전트 1 (도메인 전문가) 결과

• 일관된 성능 향상: 모든 모델 규모 (8B, 20B, 120B) 에서 RAG 를 포함한 에이전트 구성이 Ground Truth 와 가장 높은 의미적 유사도를 보였습니다.
• 통계적 유의성: RAG 사용은 사전 학습 모델 단독 또는 RAG 없는 에이전트보다 통계적으로 유의미하게 높은 점수를 기록했습니다.
• 도구 사용: 모든 모델에서 RAG 검색 도구가 100% 사용되었으며, 이는 외부 문헌이 불평등 식별 작업에 필수적임을 시사합니다.

B. 에이전트 2 (공정성 컨설턴트) 결과

• 모델 규모에 따른 차이:
  • 8B 모델: RAG 사용 시 성능이 유의미하게 향상되었습니다.
  • 20B 모델: 구성 간 유의미한 차이가 관찰되지 않았습니다 (모델 자체의 내부 지식이 충분했거나, RAG 의 추가 이점이 미미했을 수 있음).
  • 120B 모델: RAG 사용 시 사전 학습 모델 대비 유의미한 향상이 있었으나, RAG 유무 간 차이는 통계적으로 유의하지 않았습니다 (p=0.24).
• 검색 도구 사용률: 120B 모델의 경우 에이전트 2 에서 약 85% 만 검색 도구를 사용했으며, 나머지 15% 는 내부 지식만으로 작업을 완료했습니다. 이는 대형 모델이 공정성 개념에 대해 이미 충분한 사전 지식을 보유하고 있을 가능성을 시사합니다.

C. 요약

• RAG 의 효과: 외부 지식 검색 (RAG) 은 특히 새로운 사실 기반 정보 (불평등 원인 등) 를 추출해야 하는 작업 (에이전트 1) 에서 성능 향상에 결정적인 역할을 했습니다.
• 모델 규모의 영향: 대형 모델 (120B) 은 자체 지식으로 일부 작업을 수행할 수 있었으나, RAG 와 결합했을 때 가장 높은 일관성과 정확도를 보였습니다. 반면, 소형 모델 (8B) 은 RAG 없이는 전문적인 임상 맥락을 정확히 파악하는 데 한계가 있었습니다.

4. 주요 기여 (Key Contributions)

1. 임상 AI 감사 자동화 프레임워크 제안: 도메인 전문가와 공정성 컨설턴트 역할을 수행하는 다중 에이전트 시스템을 설계하여, 임상 AI 모델의 편향을 자동으로 식별하고 완화하는 방안을 제시했습니다.
2. RAG 와 에이전트 아키텍처의 기여도 정량화: 다양한 모델 규모에서 RAG 와 에이전트 오케스트레이션의 기여도를 분리하여 측정했습니다. 특히 작업 유형 (사실 기반 추출 vs 추론) 에 따라 RAG 의 필요성과 효과가 달라진다는 것을 입증했습니다.
3. 소규모 모델의 실용성 입증: 제한된 컴퓨팅 자원 (로컬 하드웨어 등) 환경에서도 RAG 가 결합된 8B 모델이 전문가 수준의 감사 추천을 제공할 수 있음을 보여주어, 의료 기관의 접근성을 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 확장 가능한 감사 솔루션: 인력 부족으로 인해 임상 AI 감사가 지연되거나 누락되는 문제를 해결하기 위해, RAG 기반 에이전트 시스템이 확장 가능한 솔루션이 될 수 있음을 시사합니다.
• 맥락 의존적 접근: 모든 AI 감사 작업에 동일한 접근법이 적용되는 것이 아니라, 작업의 성격 (새로운 정보 추출 필요 여부) 과 모델의 규모에 따라 RAG 와 에이전트 구조를 최적화해야 함을 강조합니다.
• 형평성 있는 AI 개발: 조기 발병 대장암과 같은 건강 격차가 큰 분야에서 AI 도구가 오히려 불평등을 심화시키지 않도록 방지하는 기술적 기반을 마련했습니다.

결론적으로, 이 연구는 RAG 가 결합된 에이전트 시스템이 임상 AI 모델의 편향을 감지하고 완화하는 데 효과적이며, 특히 외부 지식에 의존해야 하는 작업에서 그 성능이 두드러진다는 것을 입증했습니다. 이는 제한된 자원을 가진 의료 기관에서도 공정하고 안전한 AI 시스템을 구축할 수 있는 실용적인 길을 제시합니다.