Generative AI systems conflate two distinct pregnancy-dating algorithms

기술 요약: 생성형 AI 시스템의 두 가지 서로 다른 임신 날짜 계산 알고리즘 혼동 문제

문제 제기
본 논문은 생성형 AI 시스템이 임신 예정일(EDD) 및 임신 주수 추정 시 발생하는 임상적 계산 방식에서 나타나는 결정적인 불일치를 식별한다. 의료계에서는 흔히 "네겔 법칙(Naegele's rule)"(달력 기반 휴리스틱)과 "고정 280일 계산법"을 동일한 것으로 취급하지만, 이들은 수학적으로 엄연히 다른 알고리즘이다. 1812년에 제정된 네겔 법칙은 마지막 월경 시작일(LMP)로부터 3개월을 빼고 7일을 더하라고 임상의에게 지시한다. 반면, 고정 280일 계산법은 단순히 LMP에 280일을 더하는 방식이다. 그레고리력의 달은 각기 다른 일수(28~31일)를 포함하고 있기 때문에, 이 두 방법은 빈번하게 서로 다른 결과를 낸다. 저자들은 생성형 AI 모델들이 이러한 두 방법을 역사적으로 혼용해 온 의학 교과서들을 학습함으로써, 한 알고리즘의 단계를 설명하면서 실제로는 다른 알고리즘의 결과값을 출력하여 계산 경로를 모호하게 만드는 오류를 재현할 수 있다고 주장한다.

연구 방법론
저자들은 이 가설을 검증하기 위해 결정론적 감사(deterministic audit) 접근 방식을 채택하였다:

1. 실측값(Ground Truth) 생성: 스크립트를 사용하여 1812년 1월 1일부터 2025년 12월 31일까지의 모든 가능한 LMP 날짜(N = 78,163개)를 열거하였다. 각 날짜에 대해 두 가지 EDD를 계산하였다: 네겔 달력 법칙($EDD = \text{Date}(year+1, month-3, day+7)$)과 고정 280일 계산법($EDD = LMP + 280 \text{ days}$). 이후 두 방법 간의 차이($\Delta$)를 산출하였다.
2. AI 감사: 2026년 6월 17일, 다섯 가지 널리 사용되는 생성형 AI 시스템(ChatGPT 5.5, Claude Opus 4.8, Gemini 3.5 Flash, Perplexity Sonar 2, Open Evidence)을 대상으로 두 가지 표준화된 프롬프트를 사용하여 질의하였다:
   • 프롬프트 1 (수렴형): 두 방법의 결과가 일치하는 날짜인 2026년 1월 21일의 LMP.
   • 프롬프트 2 (발산형/윤년 포함): 윤일(2월 29일)이 포함되어 두 방법이 갈라지는 날짜인 2024년 1월 21일의 LMP.
3. 평가: 응답 내용을 분석하여 반환된 EDD, 명시된 계산 방법, 그리고 시스템이 달력 법칙과 280일 계산법을 구분하였는지 여부를 확인하였다.

주요 결과

• 알고리즘의 발산: 78,163개의 날짜 전체에 걸쳐 두 방법이 동일한 결과를 낸 경우는 44.3%에 불과했다. 55.7%의 사례에서 네겔 법칙이 고정 280일 계산법보다 1~3일 늦은 날짜를 산출했다. 이러한 불일치는 단방향적이었으며, 네겔 법칙이 280일 계산법보다 이른 날짜를 산출하는 경우는 없었다.
• 윤년의 영향: 2월 29일을 포함하는 구간(n = 14,828)에서는 두 방법이 결코 일치하지 않았다 (일치율 0.0%). 280일 계산법은 윤일을 흡수하는 반면, 달력 기반 뺄셈 방식은 이를 반영하지 못한다.
• AI 성능:
  • ChatGPT 5.5와 Claude Opus 4.8은 발산하는 날짜에 대해 두 방법을 정확히 구분하였다. 즉, 달력 법칙을 적용하면 10월 28일이 된다는 점을 인지하면서도 280일 계산 결과인 10월 27일을 제공하였다.
  • Gemini 3.5 Flash, Perplexity Sonar 2, Open Evidence는 두 방법을 구분하는 데 실패하였다. 이들은 (결과와 다른 달력 계산 단계를 보여줌에도 불구하고) 280일 결과값을 "네겔 법칙"이라고 잘못 라벨링하거나, 달력 날짜가 280일 계산법과 같다고 주장하였다.
• 오류의 성격: 이는 산술적 오류가 아닌 개념적 오류였다. 세 가지 시스템은 달력 법칙과 280일 계산법을 동일한 절차로 제시하였는데, 이는 의학 교과서에서 발견되는 역사적 혼용을 그대로 재현한 것이다.

의의 및 주장
저자들은 1~3일의 차이가 인간 임신의 생물학적 변동성(표준편차 약 13일)을 고려할 때 임상적으로는 사소할 수 있으나, 본 감사가 생성형 AI 행동의 근본적인 결함을 드러낸다고 주장한다. 즉, 시스템이 그럴듯한 임상 값을 반환하면서도 정작 사용된 방법론을 은폐하거나 잘못 라벨링할 수 있다는 것이다.

본 논문은 이를 패턴 매칭에 의존하여 논리적 일관성을 결여한 "방법-라벨 오류(method-label error)"라고 규정한다. 저자들은 이 임신 날짜 계산 사례가 명확한 실측값(ground truth)을 가진 "결정론적 테스트 케이스"로서 더 광범위한 문제를 폭로한다고 강조한다. 저자들은 약물 용량 투여나 위험도 점수 산출와 같이 훨씬 더 높은 이해관계가 걸린 임상 상황에서도 이와 유사한 방법-라벨 불일치가 발생할 수 있다고 가설을 세웠으나, 본 연구가 직접적인 위해를 입증한 것은 아니다.

본 연구의 주요 기여는 방법론적 투명성을 촉구하는 데 있다. 저자들은 의료용 AI 도구가 단일하고 지나치게 정밀한 날짜만을 제시하여 기저의 알고리즘적 선택을 숨기는 것이 아니라, 자신의 계산 경로(예: 280일을 더하는 방식인지 혹은 달력 산술을 사용하는지)와 가정, 그리고 불확실성을 명시적으로 밝혀야 한다고 주장한다.