당신이 초지능 로봇에게 의사가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 수천 권의 의학 교과서를 보여주고 퀴즈를 통해 연습하게 합니다. 로봇은 모든 테스트에서 만점을 받으며 화려하게 통과합니다. 하지만 여기 함정이 있습니다. 대부분의 테스트는 로봇에게 문제를 하나씩 독립적으로 해결하도록 요구합니다. 이 테스트들은 거의 똑같아 보이지만 완전히 다른 치료가 필요한 두 환자를 구별할 수 있는지 확인하지 않습니다. 이것은 마치 수학 시험의 정답지를 통째로 외웠지만, 문제에서 숫자 하나만 바뀌어도 틀려버리는 학생과 같습니다. 현실 세계, 특히 산모와 아기를 돌보는 상황에서는 증상의 아주 미세한 차이가 생사를 가르는 결정적인 차이가 될 수 있습니다. 만약 로봇이 첫 번째 추측에 갇혀 새로운 단서가 나타나도 생각을 바꾸기를 거부한다면, 위험한 실수를 저지를 수 있습니다. 이것이 바로 시스템이 자신의 첫 번째 답변에 너무 확신을 가진 나머지, 진단을 변화시키는 미묘한 변화를 무시해 버리는 '진단 고착(diagnostic fixation)'의 문제입니다.

여기에 스마트하지만 고집 센 로봇들을 잡아내기 위해 특별히 설계된 까다로운 새 테스트인 MamaBench가 등장합니다. 이 연구의 연구진들은 최신 AI 모델들이 '반사실적(counterfactual)' 시나리오—즉, 첫 번째 환자는 맞혔지만, 결정적인 세부 사항 하나가 바뀌어 진단이 뒤집히는 거의 동일한 두 번째 환자를 마주했을 때—를 처리할 수 있는지 확인하고 싶었습니다. 이것은 마치 AI를 위한 '틀린 그림 찾기' 게임과 같습니다. 연구진은 표준 테스트에서 매우 높은 점수를 받는 최고의 모델들조차도 이 새로운 도전 과제에서는 종종 실패한다는 것을 발견했습니다. 그들은 쉬운 버전은 잘 해내지만, 약간 변형된 버전에서는 '함정'에 빠져 원래의 틀린 답을 고수합니다. 이를 해결하기 위해 연구진은 EA-RAG라는 특별한 도구를 만들었습니다. EA-RAG는 단순히 가장 유사한 텍스트를 검색하는 대신, 두 환자를 구별하는 누락된 단서를 찾기 위해 특정 질문을 던지며 증거를 재확인하는 탐정처럼 행동합니다. 이 새로운 도구가 로봇이 차이점을 더 잘 포착하도록 도와주긴 했지만, 이 연구는 로봇이 여전히 다섯 번 중 한 번꼴로는 실수를 한다는 것을 보여줍니다. AI에게 진정으로 유연하고 신중하게 고위험 의료 상황을 다루도록 가르치는 것은 여전히 거대하고 풀리지 않은 숙제라는 사실이 드러났습니다.

문제점: "고집 센 천재"의 함정

논문은 현재 의료 AI를 테스트하는 방식의 숨겨진 결함을 지적하며 시작합니다. 표준 벤치마크는 모든 질문이 독립적인 객관식 퀴즈와 같습니다. AI는 패턴을 암기했기 때문에 퀴사 점수는 높을 수 있지만, 실제로는 '뉘앙스'를 이해하지 못할 수 있습니다. 연구진은 이를 **진단 고착(Diagnostic Fixation)**이라고 부릅니다. 어떤 형사가 오후 5시에 공원에서 용의자를 목격한 사건을 해결했다고 가정해 봅시다. 그다음, 용의자가 5시 5분에 공원에서 목격된 두 번째 사건을 보여줍니다. 그런데 5시 5분의 목격 정보는 용의자가 실제로 다른 장소에 있었음을 증명합니다. 인간 형사는 시간의 변화를 알아차리고 생각을 바꿀 것입니다. 하지만 '고착된' AI는 '오후 5시 공원'이라는 패턴에 너무 익숙해져 있기 때문에, 5분의 차이를 무시하고 용의자가 여전히 같은 장소에 있다고 주장할 수 있습니다.

모성 및 아동 보건 분야에서 이는 매우 무서운 일입니다. 아기가 먹는 것을 거부하는 것은 가벼운 배앓이일 수도 있고, 아기의 연령이나 발열 수치와 같은 단 하나의 세부 사항에 따라 심각한 감염의 징후일 수도 있습니다. 만약 AI가 고착되어 있다면 잘못된 조언을 할 수 있습니다. 연구진은 이를 폭로하기 위해 MamaBench를 만들었습니다. 그들은 217쌍의 이야기를 구축했습니다. 각 쌍에는 '기본 사례(base case, 원래 이야기)'와 '반사실적 사례(counterfactual case, 결정적인 변화가 하나 있는 이야기)'가 포함됩니다. 그들은 AI에게 두 사례 모두를 진단하도록 요청했습니다. 만약 AI가 첫 번째는 맞혔지만 두 번째는 틀렸다면, 그것은 '편향 함정(Bias Trap)'에 빠진 것으로 간-주되었습니다.

해결책: "증거 탐정"

연구진은 단순히 AI에게 더 많은 정보를 제공하는 것(RAG 또는 검색 증강 생성이라 불리는 표준 방식)이 도움이 되지 않는다는 것을 발견했습니다. 왜일까요? 두 이야기가 너무 비슷하면, AI의 검색 엔진은 두 사례 모두에 대해 정확히 똑같은 배경 정보를 불러오기 때문입니다. 이는 마치 사서에게 "고양이"에 관한 책을 달라고 했다가, 다시 "파란 눈을 가진 고양이"에 관한 책을 달라고 했을 때, 사서가 두 번 모두 똑같은 "고양이 입문" 책을 건네주는 것과 같습니다. AI는 차이점을 전혀 보지 못합니다.

이를 해결하기 위해 그들은 **EA-RAG (Evidence-Anchored RAG)**를 발명했습니다. EA-RAG는 단순히 가장 유사한 텍스트을 가져오는 대신, 다음과 같이 3단계로 움직이는 탐정 역할을 합니다:

1. 추출(Extraction): 환자의 이야기를 구체적인 유형의 사실들(예: "아기는 태어난 지 10일 되었다" 또는 "열이 높다")로 분해합니다.
2. 범위 감사(Coverage Auditing): 검색된 정보가 이러한 구체적인 사실들을 실제로 다루고 있는지 확인합니다. 만약 AI의 검색이 "태어난 지 10일"이라는 세부 사항을 놓쳤다면, 시스템은 공백이 있음을 인지합니다.
3. 대조적 하위 쿼리(Contrastive Sub-queries): 공백이 발견되면, AI는 "태어난 지 10일이라는 점이 치료법을 어떻게 바꾸는가?"와 같이 공백을 채우기 위한 새로운 구체적인 질문을 던집니다. 이는 시스템이 두 사례를 구별 짓는 특정 증거를 찾도록 강제합니다.

연구 결과: 진전은 있었으나, 완벽한 해결책은 아니다

연구팀은 세계에서 가장 발전된 4개의 AI 모델을 이 새로운 벤치마크로 테스트했습니다. 결과는 놀라웠습니다:

• 과잉 확신의 격차: 모든 모델에서 '기본 정확도'(원래 이야기에 대한 성적)가 '강건성 정확도'(까다롭게 변형된 이야기에 대한 성적)보다 16~28%포인트 더 높았습니다. 이는 표준 테스트가 우리를 속여서, AI가 실제보다 훨씬 더 똑똑해 보이게 만들었다는 것을 의미합니다.
• 표준 RAG의 실패: 단순히 표준 검색 도구를 추가하는 것은 아무런 도움이 되지 않았습니다. AI는 여전히 동일한 편향에 갇혔습니다.
• EA-RAG의 효과: 새로운 EA-RAG 도구를 사용했을 때 AI는 눈에 띄게 개선되었습니다. 가장 강력한 모델(Claude Sonnet 4.6)의 경우, '편향 함정 발생률(Bias Trap Rate)'이 25.8%에서 20.3%로 떨어졌습니다. 이는 AI가 고집스러운 실수를 약 5.5% 더 적게 했다는 것을 의미합니다.
• 냉혹한 진실: 최고의 도구와 가장 똑똑한 모델을 사용하더라도, AI는 여전히 다섯 쌍 중 하나(20%)의 반사실적 사례에서 실패했습니다. 남겨진 20%의 실패율은 이러한 미묘한 변화에 대해 의료 AI를 진정으로 강건하게 만드는 것이 여전히 미해결 과제임을 확인시켜 줍니다.

논문은 우리가 더 나은 검색 방법을 통해 한 단계 진전했을지라도, 아직 문제를 완전히 해결하지는 못했다고 결론짓습니다. AI는 세부 사항이 바뀔 때 여전히 첫인상에 갇히기 쉽습니다. 두 명의 생명이 달려 있는 분야에서, 남아 있는 20%의 오류는 연구자들이 여전히 넘어야 할 거대한 장벽입니다.