Sino-US-DrugQA: A Benchmark for Evaluating Large Language Models in Cross-Jurisdictional Pharmaceutical Regulation

이 논문은 미국 FDA 와 중국 NMPA 의 규제 요구사항을 비교 분석하는 대규모 언어 모델 (LLM) 의 성능을 평가하기 위해 11,871 개의 다중 선택형 질문으로 구성된 이중 언어 벤치마크 'Sino-US-DrugQA'를 소개하고, 현재 LLM 들이 단일 관할권 질의에는 유용하지만 관할권 간 비교 추론에서는 한계를 보임을 규명했습니다.

핵심

이 논문은 **"미국과 중국의 약품 규정을 비교하는 인공지능의 실력을 시험하는 새로운 시험지"**를 소개하는 내용입니다.

복잡한 학술 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드릴게요.

1. 왜 이 연구가 필요할까요? (배경)

약이 한 나라에서 팔리려면 그 나라의 엄격한 규칙 (규제) 을 따라야 합니다. 미국은 FDA, 중국은 NMPA라는 기관이 이 규칙을 정하죠. 이 두 나라의 규칙은 비슷해 보이지만, 세부적으로는 매우 다릅니다.

지금까지 인공지능 (LLM) 이 의료 분야에서 얼마나 잘하는지 알아보는 시도는 많았지만, **"두 나라의 규칙을 동시에 비교하고 분석하는 능력"**을 제대로 시험해 본 적은 없었습니다. 마치 "영어와 중국어를 동시에 구사하며 두 나라의 법을 비교해 줄 수 있는 변호사"를 뽑는 시험이 없었던 것과 같죠.

2. 연구팀은 무엇을 만들었나요? (Sino-US-DrugQA)

연구팀은 이 능력을 시험하기 위해 **새로운 시험지 (Sino-US-DrugQA)**를 만들었습니다.

• 시험지 구성: 미국과 중국의 공식 약품 규정서에서 뽑은 1 만 1,871 개의 객관식 문제로 구성되어 있습니다.
• 문제 유형:
  1. 단일 언어 문제: "미국 규정만 봐서 답하세요" 혹은 "중국 규정만 봐서 답하세요" (기초 체력 테스트).
  2. 비교 문제: "미국과 중국의 규정이 어떤 점이 다른지 비교해서 답하세요" (고급 응용 테스트).

3. 인공지능들은 시험을 잘 봤나요? (결과)

연구팀은 최신 인공지능 4 개 (GPT-5.2, Gemini-3-flash 등) 를 이 시험지에 응시시켰습니다. 결과는 다음과 같았습니다.

• 기초 체력은 준수함: 단일 언어 문제에서는 인공지능들이 **약 79%~85%**의 높은 점수를 받았습니다. 즉, "미국 규정만 물어보면"이나 "중국 규정만 물어보면" 꽤 잘 대답한다는 뜻입니다.
• 비교는 여전히 어렵습니다: 하지만 두 나라의 규정을 비교하는 문제로 넘어가자 점수가 6~9% 정도 떨어졌습니다.
  • 비유하자면: 인공지능은 "미국 법전 A 장"과 "중국 법전 B 장"을 각각 외우는 것은 잘하지만, **"두 법전을 대조하며 미묘한 차이를 찾아내는 논리"**는 아직 인간 전문가만 못하다는 뜻입니다.

4. 이 연구가 우리에게 주는 교훈은? (결론)

이 연구는 인공지능에게 다음과 같은 메시지를 줍니다.

"인공지능은 약품 규정을 초안 작성하거나 단순 검색을 도와주는 훌륭한 '비서'가 될 수 있습니다. 하지만 두 나라의 복잡한 규정을 비교하고 최종 결정을 내리는 '주임 변호사' 역할은 아직 맡기기엔 무리가 있습니다."

따라서, 인공지능이 만든 답변은 반드시 **전문가의 눈으로 다시 한번 확인 (검수)**해야 한다는 '신중한 태도'가 필요하다고 강조합니다.

요약

이 논문은 **"미국과 중국의 약품 규정을 비교하는 인공지능의 실력을 시험한 결과, 기초 지식은 좋지만 복잡한 비교 분석은 아직 인간 전문가의 도움이 필요하다"**는 사실을 밝혀낸 것입니다. 연구팀은 이 시험지와 결과를 공개하여, 앞으로 더 똑똑한 규제용 인공지능을 개발하는 데 도움을 주고자 합니다.

기술 요약

제시된 논문 "Sino-US-DrugQA: A Benchmark for Evaluating Large Language Models in Cross-Jurisdictional Pharmaceutical Regulation"에 대한 상세 기술 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

의약품 규제 준수는 미국 FDA 와 중국 NMPA 와 같은 서로 다른 관할 구역의 규제 요건을 비교 분석하는 것을 요구합니다. 최근 의료 분야 응용을 위해 대규모 언어 모델 (LLM) 에 대한 탐구가 활발해지고 있으나, 교차 관할 구역 (Cross-jurisdictional) 규제 비교라는 특정 영역에서의 LLM 성능은 체계적인 벤치마크를 통해 평가된 바가 없습니다. 이는 고위험 (High-stakes) 환경인 규제 준수 분야에서 AI 의 신뢰성을 검증할 수 있는 표준이 부재함을 의미합니다.

2. 방법론 (Methodology)

이 연구는 중국과 미국의 의약품 규제 비교를 평가하기 위한 Sino-US-DrugQA라는 이중 언어 (한중/영미) 벤치마크 데이터셋을 구축하고 평가했습니다.

• 데이터셋 구성:
  • 출처: 중국의 권위 있는 NMPA 규정과 미국의 CFR Title 21(연방 규정집) 에서 추출.
  • 규모: 총 11,871 개의 객관식 질문 - 답변 쌍 (Multiple-choice Q&A).
  • 구성 요소: 단일 관할 구역 검색 과제 (Monolingual retrieval) 와 교차 관할 구역 비교 추론 과제 (Cross-jurisdictional comparative reasoning) 로 구성됨.
• 평가 프로토콜:
  • 대상 모델: GPT-5.2, Gemini-3-flash, Qwen-3-235B, DeepSeek-V3.2 등 4 개의 대표적 LLM 선정.
  • 설정: 표준화된 제로샷 (Zero-shot) 프로토콜 적용, 온도 (Temperature) 파라미터를 0 으로 고정하여 일관성 있는 추론 평가 수행.
  • 공개: 데이터셋 및 평가 스크립트를 오픈 소스로 공개하여 재현 가능한 벤치마킹 지원.

3. 주요 기여 (Key Contributions)

• 최초의 교차 관할 구역 의약품 규제 벤치마크: 미국과 중국의 규제 문맥을 동시에 다루는 최초의 대규모 이중 언어 평가 데이터셋을 제시했습니다.
• 구체적인 평가 프레임워크: 단순한 지식 회상뿐만 아니라, 서로 다른 법체계를 비교하고 추론하는 능력을 평가할 수 있는 구조화된 과제를 마련했습니다.
• 오픈 리소스 제공: 연구의 투명성과 재현성을 위해 데이터와 도구를 공개하여 향후 규제 AI 연구의 기반을 마련했습니다.

4. 결과 (Results)

• 전체 정확도: 제로샷 설정에서 평가된 4 개 모델의 전체 정확도는 78.97% 에서 84.51% 사이로 나타났습니다.
• 과제별 성능 격차:
  • 모든 모델에서 단일 언어 질문에 비해 교차 관할 구역 비교 질문의 성능이 일관되게 저하되었습니다.
  • 성능 감소 폭은 약 **6~9 퍼센트 포인트 (pp)**였으며, 이는 가장 성능이 우수한 모델에서도 동일하게 관찰되었습니다.
• 핵심 발견: 현재 LLM 들은 단일 관할 구역의 규제 질의에 대한 초안 작성 및 스크리닝 보조 도구로는 유용하지만, 서로 다른 관할 구역 간의 비교 추론 (Comparative reasoning) 에서는 한계를 보입니다.

5. 의의 및 시사점 (Significance)

• 현실적 제약과 배포 전략: LLM 이 규제 준수 분야에서 완전히 자동화되기보다는, **전문가의 검토가 필수적인 보수적인 배포 (Conservative deployment posture)**가 필요함을 시사합니다.
• 향후 연구 방향: 교차 관할 구역 정렬 (Cross-jurisdictional alignment) 과 비교 특화 추론 능력 향상이 향후 LLM 개발의 주요 과제로 부각되었습니다.
• 실용적 가치: Sino-US-DrugQA 는 고위험 규제 환경에서 AI 의 신뢰성을 측정하는 실용적인 자원으로, 규제 기관과 제약 기업의 AI 도입 전략 수립에 중요한 기준을 제공합니다.

이 논문은 LLM 이 복잡한 법적·규제적 맥락에서 어떻게 작동하는지를 실증적으로 분석함으로써, AI 기반 규제 준수 시스템의 발전 방향과 한계를 명확히 제시했습니다.