A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

인공지능이 급격히 발전하는 세상에서, 연구자들은 어려운 문제를 해결하기 위해 종종 '앙상블 학습(ensemble learning)'이라 불리는 전략을 사용합니다. 하나의 거대한 컴퓨터 프로그램에 의존하여 정답을 찾는 대신, 서로 다른 데이터로 학습되었거나 각기 다른 강점을 가진 다양한 프로그램들을 모아 동일한 과업을 수행하도록 요청하는 것입니다. 한 프로그램은 실수할 수 있지만 다른 프로그램은 성공할 수 있으며, 이들의 노력을 결합함으로써 단일 모델은 혼자서는 도달할 수 없는 수준의 정확도에 도달할 수 있다는 것이 이 전략의 희망입니다. 그러나 한 가지 지속적인 과제는 그룹 내의 구성원들이 서로 의견이 다를 때 어떤 구성원을 신뢰할지 결정하는 방법이었습니다. 전통적인 방식은 모든 모델이 투표권을 갖는 선거처럼 작동하며, 가장 많은 지지를 받은 답변을 단순히 선택합니다. 이 접근 방식은 집단의 집단 지성이 다수결에 있다고 가정하지만, 가장 인기 있는 답변이 틀릴 수도 있거나, 더 조용하지만 더 신뢰할 수 있는 전문가가 목소리 크고 덜 정확한 존재에 의해 묻혀버릴 가능성을 간과합니다.

새로운 한 연구는 이 문제에 대해 다른 방식으로 생각할 것을 제안하며, 인공지능 모델의 집단을 투표권자가 아닌 '배심원단'으로 취급해야 한다고 주장합니다. 법정에서 배심원단은 단순히 몇 명의 의견이 일치하는지를 세는 것이 아니라, 각 증인의 증언을 듣고 그들의 이야기와 그 내용이 어떻게 일치하는지를 바탕으로 누가 신뢰할 수 있는지 판단합니다. 이 연구의 저자들은 언어 모델 그룹이 이와 똑같은 일을 할 수 있는지, 즉 정답을 미리 알 필요 없이 오직 답변의 패턴만으로 각 구성원의 신뢰도를 추론할 수 있는지 질문했습니다. 그들은 모델들이 증인 역할을 하는 시스템을 구축했으며, 이 시스템은 정답을 직접 보지 않고도 모델들의 증언이 진실과 일관되게 일치하는 방식을 학습하여 그들을 신뢰하는 법을 배웁니다.

연구진은 수학, 과학부터 법률, 일반 추론에 이르기까지 광범위한 주제를 다루는 1,560개의 질문 벤치마크를 통해 이 아이디어를 테스트했습니다. 그들은 다양한 크기와 학습 방식을 가진 9개의 서로 다른 언어 모델을 전문가로 모았습니다. 표준적인 설정에서 이 모델들은 질문 세트를 받고, 정답이 알려진 별도의 질문 세트에서 모델들이 얼마나 잘 수행했는지에 따라 가중치를 부여한 단순 다수결이나 가중 평균을 사용하여 답변이 결합됩니다. 그러나 새로운 방식은 신뢰도를 결정하기 위해 정답을 확인하는 단계를 건너뜁니다. 대신, 이 방식은 모델들이 제시한 답변을 분석하는 수학적 과정을 사용합니다. 어떤 모델들이 서로 동의하고 어떤 모델들이 서로 다른지를 살펴봄으로써, 시스템은 각 모델이 얼마나 신뢰할 수 있는지 추정합니다. 시스템은 정답을 모델들이 보고하려고 노력하는 '숨겨진 사실'로 취급하며, 그룹의 응답 구성을 바탕으로 각 모델이 진실을 말하고 있을 확률을 계산합니다.

실험 결과는 놀라웠습니다. 단 하나의 정답도 보지 않고 구성원들을 신뢰하는 법을 배운 이 배심원 기반 시스템은 전체 벤치마크에서 76.9%의 정확도를 달리 달성했습니다. 이는 63.0%를 기록한 단순 다수결보다 훨씬 뛰어난 성과였으며, 그룹 내 최고의 단일 모델이 기록한 75.0%조차 능가했습니다. 아마도 가장 중요한 점은, 배심원 시스템이 정답을 사용하여 가중치를 결정하도록 훈련된 시스템과 동일한 결합 규칙을 사용했을 때와 거의 동일한 성능을 보였다는 것입니다. 이 발견은 모델 중 누구를 신뢰할지 가르치기 위해 데이터를 라벨링하는 복잡한 과정이 엄격하게 필수적인 것은 아님을 시사합니다. 즉, 시스템은 그저 그들이 하는 말을 듣는 것만으로도 올바른 증인을 신뢰하는 법을 배울 수 있습니다. 또한 연구는 모델이 제시할 수 있는 가능한 답변의 전체 범위를 단순히 최선의 선택 하나만 고려하는 것보다 유지하는 것이 결과를 유의미하게 개선한다는 것을 발견했습니다. 시스템이 답변의 확률 분포를 고려했을 때, 단순 투표보다 8.4%포인트 더 높은 성과를 냈으며, 전문가들에게 적절한 가중치를 부여함으로써 또 5.5%포인트를 추가로 얻었습니다.

연구진은 이러한 성공이 단순히 더 많은 데이터나 더 나은 샘플링 기법 덕분이라는 생각을 배제하기 위해 주의를 기울였습니다. 그들은 이 방식을 라벨 없이 모델을 결합하려는 여러 다른 고급 기술들과 비교했으며, 배심원단은 일관되게 그들보다 우수한 성능을 보였습니다. 예를 들어, 이 시스템은 가장 강력한 대안인 라벨 프리(label-free) 방식보다 5.5%포인트 앞섰습니다. 또한 연구진은 시스템이 단순히 운이 좋았던 것인지, 아니면 실제로 올바른 패턴을 학습한 것인지 검토했습니다. 그들은 서로 다른 모델의 하위 집합에 대해 배심원단을 테스트했으며, 배심원단이 거의 모든 조합에서 동일 가중치 투표와 최고의 단일 전문가를 일관되게 능가한다는 것을 발견했습니다. 배심원단이 최고의 단일 모델보다 나은 성과를 내지 못한 유일한 경우는 그룹이 매우 약한 전문가들로 구성되었을 때였는데, 이는 어떤 결합 방식도 현실적으로 도움을 줄 수 없는 시나리오입니다.

이 작업의 가장 중요한 측면 중 하나는 최선의 결과를 얻기 위해 항상 감독(supervision)이 필요하다는 가설에 도전한다는 점입니다. 인공지능의 많은 분야에서 표준적인 관행은 정답이 알려진 대규모 데이터셋을 통해 시스템을 훈련시켜 어떤 모델이 좋은지 배우게 하는 것입니다. 이 새로운 접근 방식은 모델을 결합하는 데 있어, 시스템이 모델들 사이의 합의와 불일치를 통해 신뢰도를 직접 추론할 수 있음을 보여줍니다. 연구진은 배심원단과 감독된 시스템 간의 차이가 모델이 적합되는 과정의 자연스러운 변동을 고려했을 때 통계적으로 유의미하지 않을 만큼 작다는 것을 발견했습니다. 이는 결합 규칙을 훈련하기 위해 데이터를 라벨링하는 추가적인 노력이 많은 경우에 반드시 가치가 있는 것은 아닐 수 있음을 암시합니다.

연구는 또한 시스템이 불확실성을 어떻게 처리하는지 살펴보았습니다. 모델들에게 질문을 던지면, 그들은 종ine 종종 단 하나의 확정적인 진술보다는 범위가 있는 가능성들을 생성합니다. 배심원 방식은 이러한 전체 분포를 사용하며, 이를 통해 단순 투표보다 더 많은 미묘한 차이를 포착할 수 있습니다. 예를 들어, 한 모델이 틀린 답에 대해 매우 확신하고 다른 모델이 옳은 답에 대해 약간 덜 확신하고 있다면, 시스템은 증거를 적절하게 가중할 수 있습니다. 연구진은 이러한 접근 방식이 특히 수학 문제에서 효과적임을 발견했는데, 최고의 단일 모델이 고전했던 수학 문제에서 배심원단은 다른 모델들의 강점을 활용하여 정답에 도달할 수 있었습니다.

이 방법은 강력하지만, 연구진은 몇 가지 한계점도 언급했습니다. 이 시스템은 그룹 내의 모든 모델이 답변을 제공해야 하며, 생성형 작업의 경우 신뢰할 수 있는 분포를 구축하기 위해 여러 번의 샘플링을 실행해야 합니다. 이는 단일 모델에게 답변을 요구하는 것에 비해 계산 비용을 증가시킵니다. 그러나 연구는 이러한 비용이 상당한 정확도 향상에 의해 정당화된다고 시사합니다. 또한 연구진은 시스템의 답변에 대한 확신도가 실제 정확도보다 높은 경우가 많아, 때때로 틀린 답에 대해 매우 확신하는 모습을 보인다는 점을 관찰했습니다. 이는 인공지능에서 흔히 발생하는 문제이며, 연구진은 시스템의 신뢰도 점수가 진실의 신뢰할 수 있는 척도로 사용되기 위해서는 재보정(recalibration)이 필요하다고 언급했습니다.

궁극적으로, 이 연구는 우리가 인공지능의 집단 지성을 어떻게 활용할 수 있는지에 대한 새로운 관점을 제공합니다. 모델을 투표자가 아닌 배심원으로 대함으로써, 우리는 정답을 미리 알지 못하더라도 부분의 합보다 더 똑똑한 시스템을 구축할 수 있습니다. 오직 증언만으로 신뢰를 배우는 능력은 인공지능을 사용하는 더 효율적이고 적응 가능한 방법을 열어주며, 이를 통해 시스템은 새로운 문제에 직면할 때마다 어떤 전문가를 신뢰할지에 대한 이해를 지속적으로 정교화할 수 있습니다. 이 연구의 결과는 이 그룹들의 잠재력을 끌어내는 핵심이 그들에게 동의를 강요하는 것이 아니라, 서로의 말을 듣고 스스로의 목소리에 대한 신뢰도를 판단하는 법을 가르치는 데 있음을 시사합니다.