When Debate Hurts: Model-Scale-Dependent Effects of Multi-Agent Deliberation in Psychiatric Diagnosis

정신 건강 관리의 세계에서 환자를 진단하는 것은 단순히 증상을 체크리스트에 맞추는 간단한 문제가 아닙니다. 고도로 훈련된 인간 정신과 의사들에게조차 이 과정은 불확실성으로 가득 차 있습니다. 연구에 따르면 서로 다른 의사들이 동일한 환자의 설명을 보고 판단할 때, 최종 진단에 대해 서로 의견이 일치하지 않는 경우가 빈번합니다. 때로는 혼란이 너무 깊어서 세계 최고의 전문가 팀조차 환자에게 무엇이 잘못되었는지 합의하지 못하기도 합니다. 이 때문에 연구자들은 컴퓨터 모델이 정신 건강 상태를 식별하는 더 일관된 방법을 제공할 수 있기를 바라며 인공지능으로 눈을 돌렸습니다. 한 가지 인기 있는 아이디어는 여러 개의 AI 에이전트가 전문가 패널처럼 행동하여 결론에 도달하기 전까지 사례에 대해 토론하게 하는 것입니다. 이론적으로는 이러한 주고받는 토론이 오류를 잡아내고, 마치 인간 팀이 복잡한 문제를 함께 해결해 나가는 것처럼 더 나은 답을 이끌어낼 것이라고 봅니다.

인도 공과대학교 카라그푸르(IIT Kharagpur) 연구진의 새로운 연구는 이 아이디어를 매우 실용적인 방식으로 테스트하며, 거대하고 비싼 서버 대신 표준 개인용 컴퓨터에서 실행할 수 있는 작은 오픈 소스 컴퓨터 모델을 사용했습니다. 그들은 증상에 집중하는 에이전트, 다양한 가능한 진단을 비교하는 에이전트, 그리고 환자의 위험도를 평가하는 에이전트로 구성된 세 가지 서로 다른 AI '전문가'가 24개의 합성 환자 이야기를 두고 토론하는 시스템을 구축했습니다. 이 이야기들은 실제 의료 차트처럼 보이도록 작성되었으며, 다양한 정신 질환을 다루었습니다. 연구진은 이 토론 과정이 실제로 AI가 정답을 찾는 데 도움이 되는지, 아니면 상황을 악화시키는지 확인하고자 했습니다. 그들은 토론하는 팀을 아무와도 대화하지 않고 즉시 답을 내놓는 단일 AI 에이전트와 비교했습니다.

결과는 놀라웠으며, 더 많은 토론이 항상 더 나은 결과를 낳는다는 일반적인 가정에 반하는 것이었습니다. 연구진이 두 가지 크기의 컴퓨터 모델(10억 개의 파라미터를 가진 모델과 30억 개의 파라미터를 가진 모델)에 대해 시스템을 테스트했을 때, 토론하는 팀이 빠르게 답을 내놓는 단일 에이전트보다 일관되게 낮은 성능을 보였습니다. 이는 단 한 번의 테스트 결과가 아니라, 결과의 실재성을 확인하기 위해 각 설정에 대해 실험을 다섯 번씩 반복한 결과였습니다. 모든 경우에서, 스스로 토론하는 AI가 토론하지 않는 AI보다 진단을 더 자주 틀렸습니다. 격차는 상당했습니다. 작은 규모의 모델에서는 토론 팀이 여러 시행에 걸쳐 평균 57%의 정확도를 보인 반면, 단순한 비토론형 에이전트는 약 73%의 정확도를 보였습니다. 더 큰 규모의 모델에서는 토론 팀이 평균 약 69%로 개선되었으나, 단순한 에이전트는 여전히 88%에 달하는 정확도를 기록하며 더 우수한 성적을 냈습니다.

연구는 또한 어떤 부분이 문제를 일으키는지 파악하기 위해 과정을 면밀히 분석했습니다. 연구진은 처음에 '판사' 에이전트가 토론을 요약하고 최종 결정을 내리는 마지막 단계가 성능 저하의 주범이라고 가정했습니다. 그러나 조사 결과 더 복잡한 그림이 드러났습니다. 토론하는 행위 자체만으로도, 판사가 개입하기 전부터 이미 단순한 방식에 비해 정확도가 낮아졌습니다. 더욱이 판사의 영향은 모델의 크기에 따라 달라졌습니다. 작은 모델에서는 판사가 상황을 크게 악화시키지 않았지만, 큰 모델에서는 판사가 손실된 정확도를 일부만 회복했을 뿐, 전체적인 정확도에 미치는 영향은 모델 규모에 따라 일관되지 않았습니다. 이는 문제가 단순히 하나의 고장 난 부품 때문이 아니라, 컴퓨터 뇌의 크기와 그룹 토론을 처리하는 방식 사이의 복잡한 상호작용 때문임을 시사합니다.

아마도 가장 결정적인 발견은 안전에 관한 것이었을 것입니다. 정신 건강 분야에서 환자가 자신을 해칠 위험이 있다는 신호를 놓치는 것은 치명적인 실패입니다. 연구진은 토론이 위험을 포착하는 효과가 모델 크기에 따라 뒤바뀐다는 것을 발견했습니다. 작은 모델에서는 토론 과정이 단순한 에서 놓쳤던 높은 자해 위험을 AI가 인지하도록 도왔습니다. 하지만 큰 모델에서는 정반대의 현상이 일어났습니다. 단순한 에이전트는 위험을 올바르게 식별했지만, 토론 팀, 특히 토론을 요약하는 판사가 위험 신호를 알리는 것을 스스로 철회했습니다. 이는 서로 논쟁하도록 설계된 시스템이 사용하는 특정 컴퓨터 모델에 따라 오히려 덜 안전해질 수 있음을 의미합니다.

연구진은 자신들의 결과가 인공지능이 이미 인간 의사를 능가했다는 뜻은 아니라고 주의를 기울였습니다. 그들은 자신들의 수치를 발표된 정신과 의사 관련 연구와 비교했을 때, AI의 결과가 유사한 과업에 대한 인간의 성과와 비슷한 수준이거나 때로는 더 높았음을 확인했으나, 테스트 조건이 완벽하게 일치하지는 않았음을 강조했습니다. 인간 연구들은 서로 다른 환자 이야기와 정답을 결정하는 다른 방법들을 사용했습니다. 저자는 가장 중요한 시사점은 AI가 인간보다 낫다거나 못하다는 것이 아니라, "더 많은 토론이 더 낫다"는 대중적인 아이디어가 보편적인 규칙은 아니라는 점이라고 주장합니다. 이러한 로컬 컴퓨터 모델을 이용한 정신과 진단이라는 특정한 맥락에서, 에이전트들이 서로 논쟁하게 하는 추가 단계는 단순하고 직접적인 접근 방식이 피했던 오류를 유발했습니다. 이 연구는 복잡한 분야인 의학에서 토론의 층위를 더하는 것이 반드시 더 나은 결과를 보장하는 것은 아니며, 때로는 가장 직접적인 경로가 가장 신뢰할 수 있는 길임을 상기시켜 줍니다.