로봇에게 의사가 되는 법을 가르치려 한다고 상상해 보세요. 단순히 로봇에게 의학 질문에 대한 답을 추측하게 하고 금메달을 받기를 기대하는 것이 아니라, 왜 그렇게 생각하는지 설명하게 하고, 놓친 증상은 없는지 확인하며, 실수로 환자에게 위험한 약을 복용하라고 말하지 않는지 확인하고 싶을 것입니다. 이것이 바로 인공지능 훈련의 한 종류인 **강화 학습(Reinforcement Learning, RL)**의 세계입니다. 컴퓨터가 이것저것 시도해 보고, 피드백을 받고, 더 높은 점수를 얻기 위해 자신의 행동을 조정하며 배우는 방식입니다.

수학이나 코딩 같은 과목에서는 이것이 쉽습니다. 로봇이 방정식을 풀면, 그 답은 맞거나 틀리거나 둘 중 하나이며 컴퓨터는 이를 즉시 확인할 수 있습니다. 하지만 의학은 복잡합니다. 환자의 답변은 대부분 맞지만 아주 작고 결정적인 세부 사항을 놓칠 수도 있고, 도움이 될 수는 있지만 무서운 오류를 하나 포함할 수도 있습니다. 이런 상황에서는 단순한 "예/아니오" 버튼이 존재하지 않습니다. 이를 해결하기 위해 과학자들은 **루브릭(Rubrics)**을 사용합니다. 루브릭은 전문가들이 작성한 상세한 채점 체크리스트라고 생각하면 됩니다. 단순히 "잘했어"라고 말하는 대신, 루브릭은 답변을 작은 부분들로 나눕니다: "질병을 식별했는가? 예. 적절한 약물을 언급했는가? 예. 부작용에 대해 경고했는가? 아니오." 문제는 이러한 체크리스트를 작성하는 데 인간 의사들이 너무 많은 시간을 소비해야 하며, 컴퓨터를 사용하여 작성할 경우 실수를 할 수도 있다는 점입니다.

여기에서 ConRub-Med라는 논문이 등장합니다. 연구진은 인간 의사가 모든 연습 테스트를 채점할 필요 없이 의료용 AI를 가르칠 수 있는 더 스마트한 방법을 만들고자 했습니다. 그들은 세 명의 서로 다른 전문가 로봇이 각자의 체크리스트를 작성하고, 네 번째 로봇이 엄격한 편집자 역할을 하여 그들이 모두 동의하는 부분을 찾아내는 시스템을 만들었습니다. 또한 단순히 "맞는" 답을 세는 것이 아니라 "틀린" 답에 대해서는 벌점을 주는 특별한 채점 방식도 도입했습니다.

문제점: "적당히 괜찮은 것"으로는 충분하지 않을 때

여러분이 시험을 보고 있어서 70점을 받았다고 상상해 보세요. 그런데 만약 두 학생이 모두 70점을 받았다면 어떻게 될까요? 한 학생은 사실을 알고 있었지만 안전 경고를 놓쳐서 70점을 받았고, 다른 학생은 정답을 맞혔지만 위험하고 지어낸 사실을 포함해서 70점을 받았습니다. 만약 선생님이 두 학생에게 똑같이 "70점"을 준다면, 이 학습을 하는 AI는 어떤 학생이 실제로 더 나은지 알 수 없습니다. 심지어 AI는 두 학생의 점수가 같기 때문에 위험한 답변을 한 학생을 따라 하도록 배울 수도 있습니다.

의료용 AI의 세계에서 이것은 매우 큰 문제입니다. 만약 AI가 위험하고 환각(hallucination)된 답변을 정확한 답변만큼이나 좋은 것으로 학습한다면, 실제 사람들에게 잘못된 조언을 할 수 있습니다. 기존의 모델 훈련 방식은 종종 "정보 누락"(단계를 잊어버림)과 "잘못된 정보"(거짓말을 함)를 동일하게 취급했습니다. 즉, 둘 다 '0점'으로 처리했습니다. 하지만 의학에서는 거짓말을 하는 것이 무언가를 잊어버리는 것보다 훨씬 더 위험합니다.

해결책: 로봇 팀과 엄격한 편집자

칭화 대학교와 앤트 그룹(Ant Group)의 팀이 협력하여 만든 이 논문의 저자들은 ConRub-Med라는 새로운 훈련 파이프라인을 구축했습니다. 작동 방식은 다음과 같습니다.

1. 합의 위원회 (세 명의 머리가 하나보다 낫다)
한 명의 로봇에게 채점 체크리스트(루브릭)를 작성하도록 요청하는 대신, 세 명의 서로 다른 강력한 AI 모델에게 "좋은" 답변이 갖추어야 할 기준 목록을 각각 작성하도록 했습니다. 그런 다음, 네 번째의 별도 로봇이 심판 역할을 수행했습니다. 이 심판은 원래의 세 로봇이 모두 동의하는 규칙만을 남겼습니다. 만약 한 로봇은 특정 세부 사항이 중요하다고 생각했지만 나머지 두 로봇이 언급하지 않았다면, 심판은 그 규칙을 버렸습니다. 이를 통해 최종 체크리스트가 단일 모델의 무작위적인 특성에 치우치지 않고, 강력하고 공유된 합의에 기반하도록 보장했습니다.

2. 3단계 성적표 (단순히 맞거나 틀린 것이 아님)
체크리스트가 만들어진 후, 시스템은 답변을 채점해야 했습니다. 기존 방식은 이분법적이었습니다: "이 내용을 언급했는가? 예(+1) 또는 아니오(0)." 새로운 시스템은 3단계 채점(Three-State Scoring) 방식을 사용합니다:

• 정확함 (Correct): 제대로 맞혔습니다 (+1점).
• 누락됨 (Missing): 언급하는 것을 잊었습니다 (0점).
• 틀림 (Wrong): 사실이 아니거나 위험한 내용을 말했습니다 (-1점).

이는 거대한 변화입니다. 기존 시스템에서는 단계를 잊어버린 학생과 단계를 속인 학생 모두 0점을 받았습니다. 하지만 이 새로운 시스템에서는 거짓말을 한 학생에게 마이너스 점수를 부여합니다. 이는 AI에게서 사실을 지어내는 것은 단순한 중립적인 실수가 아니라 심각한 잘못이라는 것을 가르칩니다.

3. 타이브레이커 (점수가 동일할 때)
새로운 채점 방식을 사용하더라도 가끔 서로 다른 답변들이 정확히 같은 총점을 기록할 때가 있습니다. 만약 AI가 점수가 같은 두 개의 답변을 보게 되면, 어떤 것을 학습해야 할지 혼란을 겪게 됩니다. 이를 해결하기 위해 연구진은 "타이브레이커(Tie-Breaker)" 단계를 추가했습니다. 두 답변이 동점일 때, 특별한 판사가 두 답변을 나란히 놓고 양방향(답변 A vs 답변 B, 그리고 답변 B vs 답변 A)으로 비교 검토합니다. 만약 판사가 두 경우 모두에서 답변 A가 더 낫다고 판단한다면, 시스템은 답변 A에는 "보너스"를 주고 답변 B에는 "벌칙"을 부여합니다. 이를 통해 수학적으로는 동일할지라도 AI에게 명확한 방향성을 제시해 줍니다.

연구 결과

연구팀은 이 새로운 방법을 대규모 의료 질문 세트에 테스트했습니다. 그들은 5,166개의 프롬프트(질문) 데이터셋을 만들고 이를 사용하여 AI 모델을 훈련시켰습니다.

• 더 나은 체크리스트: 인간 의료 전문가 두 명이 이 새로운 "합의(Consensus)" 방식으로 만들어진 체크리스트를 검토했을 때, 단일 로봇이 만든 체크리스트(약 86%)보다 훨씬 더 임상적으로 유의미하다(99.3%)고 평가했습니다.
• 최고의 성능: ConRub-Med로 훈련된 AI는 의료 질문에 대해 매우 뛰어난 성능을 보였습니다. 이 모델은 테스트된 9개의 주요 의료 벤치마크 중 6개에서 1위를 차지했습니다.
• 어려운 테스트: 특히 어려운 HealthBench-Hard 테스트에서, 새 모델은 38.98점을 기록했습니다. 이는 훨씬 더 많은 데이터(예: 28,000개의 샘플을 사용했지만 37.30점을 기록한 방법)를 사용한 다른 방법들보다 높은 점수입니다.

이것이 중요한 이유

이 논문은 "전문가 팀"이 규칙을 쓰고, "엄격한 편집자"가 규칙을 필터링하며, "거짓말을 처벌하는 3단계 성적표"를 결합함으로써 의료용 AI를 더 안전하고 정확하게 가르칠 수 있음을 시사합니다. 연구진은 단순히 "맞는" 답변을 세는 것만으로는 부족하며, "틀린" 답변을 적극적으로 억제하고 서류상으로는 같아 보이는 두 답변 사이의 차이를 구별하는 방법이 필요하다는 것을 발견했습니다.

결과가 유망하긴 하지만, 저자들은 이것이 여전히 연구 도구라는 점을 주의 깊게 언급했습니다. 그들은 벤치마크와 인간 전문가를 통해 규칙을 검토했지만, 이 시스템이 아직 실제 환자를 진단할 준비가 된 것은 아니라고 강조합니다. 이것은 AI를 훈련시키는 강력한 새로운 방법이지만, 실제 환경에서의 안전성을 확보하기 위한 최종 단계는 여전히 더 많은 작업이 필요합니다. 핵심적인 교훈은, 의학이라는 복잡한 세계에서는 "적당히 괜찮은" 점수로는 충분하지 않으며, 실수와 거짓말을 구분할 줄 아는 시스템이 필요하다는 것입니다.