Perspective independence, more than personas, drives LLM teams - and where they reverse

급격히 진화하는 인공지능의 세계에서, 연구자들은 컴퓨터 프로그램이 특히 어려운 문제를 해결하도록 요청받았을 때 어떻게 하면 언어를 더 잘 이해하고 신뢰도를 높일 수 있을지 탐구하고 있습니다. 한 가지 인기 있는 전략은 컴퓨터에게 심장 전문의나 외과 의사와 같이 각기 특정 직무를 가진 전문가 팀인 것처럼 행동하도록 요청하는 것입니다. 이 방식은 다양한 전문 지식을 가진 목소리를 갖추는 것이 컴퓨터에게 단일하고 직접적인 답변을 요구하는 것보다 더 나은 답을 이끌어낼 것이라는 아이디어에 기반합니다. 그러나 이러한 개선이 전문가들이 가진 구체적인 직함 덕분인지, 아니면 단순히 컴퓨터가 결론을 도출하기 전에 여러 개의 독립적인 생각을 생성했기 때문인지는 여전히 불분명한 상태로 남아 있습니다. 이 질문은 이러한 시스템이 올바른 진단과 놓친 진단의 차이가 삶을 바꿀 수 있는 의학처럼 중대한 영향을 미치는 분야에서 점점 더 많이 사용되고 있기 때문에 매우 중요합니다.

최근 한 연구는 실제 의료 사례들을 테스트하여 이 두 가지 가능성을 규명하고자 했습니다. 연구진은 표준적인 단일 요청 방식과 두 가지 더 복로직한 방식을 비교했습니다. 한 가지 방법에서는 컴퓨터에게 단일 대화 내에서 다섯 가지의 서로 다른 전문가 역할을 채택하도록 요청했습니다. 다른 방법에서는 다섯 개의 별개이고 격리된 컴퓨터 인스턴스를 생성하여 각각 서로 다른 전문가 역할을 수행하게 한 뒤, 여섯 번째 인스턴스를 사용하여 이들의 답변을 듣고 종합하는 중재자 역할을 맡겼습니다. 연구진은 응급실 방문 및 복잡한 의학적 추론을 포함하는 수백 건의 사례를 대상으로 이 접근 방식들을 테스트했으며, 임상의의 판단력을 모사하는 시스템을 사용하여 결과를 점수화했습니다.

결과는 해결하려는 문제의 유형에 따라 성능이 놀랍게 갈린다는 것을 보여주었습니다. 연구팀이 컴퓨터가 얼마나 많은 정답 가능성을 나열할 수 있는지 확인하기 위해 설계된 광범위한 의료 사례들을 대상으로 테스트했을 때, 격리된 에이전트 팀이 단일 직접 호출 방식보다 우수한 성과를 보였습니다. 격리된 그룹은 상위 3개 및 상위 5개 제안 내에서 더 많은 정답을 찾아냈으며, 그 차이는 통계적으로 유의미했습니다. 추가 분석 결과, 이러한 성공은 컴퓨터가 전문가인 척했기 때문이 아니었습니다. 대신, 이 이득은 에이전트들이 독립적으로 생각을 생성하고 중재자가 이를 결합했다는 사실에서 기인했습니다. 에이전트들에게 부여된 구체적인 직함이나 역할은 추가적인 가치를 더하지 않았습니다. 이 혜택은 순수하게 병렬적으로 작동하는 별개의 정신들을 가진 뒤 하나로 모으는 구조 자체에서 온 것이었습니다.

하지만 연구진이 동일한 방법들을 실제 응급실 시나리오에 적용했을 때는 이야기가 완전히 달라졌습니다. 이 더 혼란스럽고 시간이 촉박한 환경에서는 단일 직접 호출 방식이 격리된 에이전트 팀보다 더 나은 성과를 보였습니다. 단일 호출 방식은 약 40%의 사례에서 주요 문제를 정확히 식별한 반면, 팀 접근 방식은 약 34%의 사례에서만 이를 수행했습니다. 이 특정한 맥락에서는 우위가 뒤집혔으며, 그 이득은 독립적인 아이디어 생성보다는 전문가 역할 목록에 의해 주도되었습니다. 이 연구는 이러한 인공지능 팀을 구성하는 단 하나의 최선의 방법은 존재하지 않는다는 점을 시사합니다. 가장 효과적인 접근 방식은 전적으로 던져진 질문의 유형과 가용 가능한 정보의 성격에 달려 있으며, 이는 한 종류의 의료 과제에 적합한 전략이 다른 과제에서는 실패할 수도 있음을 의미합니다.