Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
이 논문은 리더보드, 인간 선호도 패널, 가격 카탈로그의 연결된 공개 데이터를 통합하여 대규모 언어 모델 생태계를 특징짓고, 성능은 파라미터 수 및 시간과 함께 규모가 커지며, 선호도 평가는 모델 내에서 빠른 회전과 안정성을 보이고, 가격은 제공업체 간의 현저한 가격 차이에도 불구하고 능력 점수와 오픈 웨이트 상태에 의해 크게 좌우된다는 점을 밝혀낸다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능이 급격히 발전하는 세상에서, 거대 언어 모델(large language model)로 알려진 특정 유형의 컴퓨터 프로그램은 글쓰기, 추론, 문제 해결을 위한 핵심 도구가 되었습니다. 이 시스템들은 방대한 양의 텍스트를 학습하며, 문장에서 다음에 올 단어를 예측하는 법을 배워 일관된 문단을 생성하고, 복잡한 질문에 답하며, 심지어 코드까지 작성할 수 있게 됩니다. 현재 거대 기술 기업들이 구축한 거대 시스템부터 독립적인 연구자들이 만든 더 작은 오픈 버전까지 수천 개의 모델이 존재하기 때문에, 이들을 어떻게 비교할 것인가에 대한 필요성이 생겨났습니다. 이를 위해 커뮤니티는 두 가지 주요 요소에 의존합니다. 하나는 모델이 일련의 어려운 질문에 답하여 점수를 얻는 표준화된 테스트이고, 다른 하나는 사람들이 두 모델의 답변 중 더 마음에 드는 것에 투표하는 인간 선호도 아레나(human preference arenas)입니다. 이러한 성능 지표와 더 함께, 단어 단위로 모델에 대한 접근 권한을 판매하는 시장이 형성되었으며, 이는 탐색하기 어려운 복잡한 가격과 역량의 지형을 만들어냈습니다.
헝가리 코르비누스 대학교의 페테르 바고(Peter Bago)가 수행한 최근 연구는 세 가지 거대하고 공개된 데이터 소스를 연결함으로써 이 혼란스러운 생태계에 질서를 부여하고자 했습니다. 연구자는 수천 개의 오픈 모델 테스트 점수 기록, 인간 선호도 순위의 장기 로그, 그리고 다양한 제공업체가 부과하는 가격의 종합적인 카탈로그를 결합했습니다. 이 데이터셋들을 연결함으로써, 연구는 가장 유명한 모델들만을 살펴보는 것을 넘어 전체 지형을 조사하였으며, 규모와 성능이 어떻게 연관되는지, 순위가 시간에 따라 어떻게 변하는지, 그리고 가격이 실제로 어떻게 결정되는지를 물었습니다. 목표는 단 하나의 승자를 선언하는 것이 아니라, 이러한 디지털 도구들이 어떻게 가치를 인정받고 어떻게 진화하는지를 지배하는 근본적인 규칙을 이해하는 것이었습니다.
첫 번째 주요 발견은 테스트 자체의 성격에 관한 것입니다. 연구는 지시 이행부터 고급 수학에 이르기까지 여섯 가지 서로 다른 벤치마크에서 테스트된 4,500개 이상의 오픈 모델 기록을 분석했습니다. 연구진은 이 여섯 가지 서로 다른 테스트가 여섯 가지 별개의 기술을 측정하는 것이 아니라, 압도적으로 하나의 지배적인 역량을 측정하고 있다는 사실을 발견했습니다. 한 모델이 한 테스트에서 높은 성적을 거두면, 다른 테스트에서도 높은 성적을 거질 가능성이 매우 높습니다. 이 공통된 맥ator는 전체 생태계 전반에 걸친 점수 변동의 거의 4분의 3을 설명합니다. 그러나 연구는 또한 이러한 테스트들이 성능의 최하단에서는 어려움을 겪는다는 점에 주목했습니다. 많은 모델이 너무 낮은 점수를 기록하여 무작위 추측과 구별할 수 없었는데, 이는 현재의 테스트들이 우수한 모델과 준수한 모델을 구분하는 데는 뛰어나지만, 매우 열등한 모델과 기능이 없는 모델을 구분하는 데는 적합하지 않음을 시사합니다.
무엇이 모델의 성능을 높이는지에 대해, 연구는 규모가 중요하다는 점을 확인했지만 그것이 전부는 아니라고 밝혔습니다. 파라미터 수로 측정되는 모델의 크기가 클수록 일반적으로 점수가 높았습니다. 구체적으로, 다른 모델보다 10배 더 큰 모델은 평균 테스트에서 약 13.7점 더 높은 점수를 얻는 경향이 있습니다. 그러나 시간 또한 똑같이 강력한 힘입니다. 동일한 크기와 유형의 모델을 비교하더라도, 더 최근에 제출된 모델들이 유의미하게 더 나은 성능을 보였습니다. 동일한 컴퓨팅 파워로 구축되었더라도, 다른 모델보다 1년 뒤에 제출된 모델은 약 10.5점 더 높은 점수를 받았습니다. 이는 이 분야가 단순히 더 큰 기계를 만드는 것뿐만 아니라, 그것들을 훈련시키는 더 똑똑한 방법을 찾아냄으로써 발전하고 있음을 시사합니다. 또한 연구는 대화용으로 설계되었거나 기존 모델을 병합하여 만든 모델들이 가공되지 않은 원형 모델보다 더 나은 성능을 보이는 경우가 많다는 것을 발견했는데, 이는 미세 조정(fine-tuning)과 결합 과정이 현재 진보의 핵심 동력임을 나타냅니다.
생태계의 인간적인 측면은 안정성에 대해 다른 이야기를 들려줍니다. 연구는 1년 이상 인간 선호도 아레나에서 상위권 모델들을 추적하며, 리더십이 믿기 힘들 정도로 덧없다는 것을 관찰했습니다. 최고 모델의 자리는 19번이나 바뀌었으며, 평균적인 리더가 1위를 유지하는 기간은 약 12일에 불과했습니다. 이러한 끊임없는 교체에도 불구하고, 최고 모델과 10위 모델 사이의 격차는 놀라울 정도로 일정하게 유지되었습니다. 연구는 또한 점수 산정 방식의 중대한 변화도 밝혀냈습니다. 2025년 5월의 특정 날짜에 점수 계산 방식이 변경되면서, 모든 모델의 등급이 하룻밤 사이에 약 18점 급상승했습니다. 이는 조정을 거치지 않고 그 날짜 전후의 점수를 비교하는 것이 오해를 불러일일 수 있음을 의미하는데, 숫자가 더 이상 동일한 척도 위에 있지 않았기 때문입니다. 이 변화 이전에는 등급이 안정적이었으며, 모델들이 단순히 반복적으로 목록에 올라간다고 해서 점수가 상승하거나 하락하지 않았습니다.
아마도 가장 복잡한 발견은 모델 사용 가격과 관련된 것일 것입니다. 연구는 82개의 서로 다른 제공업체로부터 얻은 약 2,700개의 서로 다른 가격 목록을 조사했습니다. 연구는 정확히 같은 모델이라 할지라도 누가 판매하느냐에 따라 가격이 크게 달라질 수 있다는 것을 발견했습니다. 3개 이상의 제공업체가 제공하는 모델의 경우, 가장 비싼 가격은 가장 저렴한 가격보다 통상 38% 더 높았으며, 일부 모델의 경우 그 차이가 훨씬 더 컸습니다. 이는 단순히 여기저기 둘러보는 것만으로도 구매자가 상당한 돈을 절약할 수 있음을 시사합니다. 연구는 또한 이러한 가격을 결정하는 요인을 이해하기 위해 모델을 구축했습니다. 연구 결과, 역량은 주요한 요인이었습니다. 인간 선호도 등급에서 1 표준 편차만큼 더 나은 모델은 3배 이상의 가격을 요구했습니다. 그러나 코드가 공개적으로 사용 가능한 오픈 모델인 경우, 유사한 기술을 가진 독점(proprietary) 모델 비용의 5분의 1 미만으로 가격이 낮아지는 엄청난 할인이 적용되었습니다. 또한, 연구는 더 오래된 모델, 즉 더 오랫동안 목록에 올라와 있는 모델들이 가격 프리미엄을 갖는 경향이 있다는 것을 발견했는데, 이는 더 나은 잠재력을 가진 새로운 모델들이 등장하더라도 기존 모델이 가치를 유지함을 시사합니다.
마지막으로, 연구는 두 가지 주요 품질 측정 방식이 얼마나 잘 일치하는지 확인했습니다. 연구진이 테스트 점수 기록과 인간 선호도 순위에 모두 등장한 69개의 모델을 살펴보았을 때, 강력한 일치성을 발견했습니다. 표준화된 테스트에서 높은 점수를 받은 모델들은 일반적으로 인간이 선호하는 모델들과 일치했습니다. 이러한 수렴은 테스트와 인간의 투표가 서로 약간 다르게 측정할지라도, 역량이라는 동일한 실체를 향하고 있음을 시사합니다. 연구는 지형이 광대하고 데이터가 무질서하지만, 소스들을 연결했을 때 명확한 패턴이 나타난다고 결론짓습니다. 이 생태계는 단일한 지배적 역량에 의해 움직이며, 시간과 규모에 의해 개선되고, 성능에 보상을 주면서도 오픈 접근에 대해서는 대폭적인 할인을 적용하는 방식으로 가격이 책정됩니다. 이 도구들을 이해하거나 구매하려는 사람들에게 주는 교훈은, 성능은 예측 가능하고, 리더십은 일시적이며, 당신이 지불하는 가격은 모델이 실제로 무엇을 할 수 있는지뿐만 아니라 누가 판매하는지와 언제 구매하는지에 따라 달라진다는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.