LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
이 논문은 기업들이 자체 데이터를 사용하여 비즈니스 AI 시스템을 위한 결정론적이고, 감사 가능하며, 비용 효율적인 테스트를 생성할 수 있게 해주는 평가 플랫폼인 LEDLEDGER를 소개하며, 자체 호스팅된 오픈 웨이트 모델이 독점적 대안들의 비용 대비 극히 적은 비용으로 프런티어 수준의 정확도를 달달성할 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 직장에서 기업들은 자사의 내부 데이터에 관한 질문에 답하기 위해 인공지능에 점점 더 많이 의존하고 있습니다. 엔지니어링 매니저는 지난주에 얼마나 많은 코드 변경 사항이 검토되었는지 물을 수 있고, 재무 분석가는 특정 유형의 오류를 해결하는 데 걸린 평균 시간을 요청할 수 있습니다. 이러한 시스템은 단순히 진공 상태에서 생각하는 단일 컴퓨터 프로그램이 아닙니다. 이들은 언어 모델이 회사의 개인 데이터베이스에 연결되고, 무엇을 공개하고 무엇을 공개하지 않을지에 대한 엄격한 규칙에 의해 안내되며, 어떤 도구를 사용할지 결정하는 소프트웨어에 의해 관리되는 복잡한 조립체입니다. 어떤 기업에게나 과제는 이러한 시스템이 취약하다는 점입니다. 모델, 규칙, 또는 소프트웨어가 데이터베이스와 대화하는 방식에 작은 변화만 생겨도 갑자기 답변이 틀려질 수 있습니다. 일반적인 작업에 대해 서로 다른 인공지능 모델의 지능 수준을 순위 매기는 공개 테스트가 존재하지만, 그 점수가 특정 회사의 시스템이 자사만의 고유한 데이터 및 규칙과 얼마나 잘 작동할지를 예측하지는 못합니다. 기업들은 매번 변화가 생길 때마다 자신의 시스템을 반복적으로 테스트하여 답변이 여전히 정확한지, 그리고 답변을 얻는 비용이 관리 가능한 수준으로 유지되는지 확인할 방법이 필요합니다.
인터벌(Interval)이라는 비즈니스 인텔리전스 도구 구축 기업의 연구진은 이 문제를 해결하기 위해 LEDGER라고 불리는 새로운 방법론을 개발했습니다. 공개 점수에 의존하는 대신, LEDGER는 기업의 자체 데이터, 질문, 그리고 규칙을 반복 가능하고 엄격한 테스트로 전환합니다. 이 시스템은 구체적인 시나리오를 생성함으로써 작동합니다: 질문이 던져지고, 사전에 정의된 특정 정답이 설정되며, 정답 여부를 증명하기 위한 일련의 근거가 준비됩니다. 이 근거는 데이터베이스 쿼리의 고정된 스냅샷, 특정 정책 규칙, 또는 소프트웨어 대시보드의 기록된 변경 사항일 수 있습니다. 인공지능 시스템이 질문에 답하려고 시도하면, LEDGER 플랫폼은 그 결과를 확인합니다. 만약 답변이 단순한 숫자나 명확한 사실이라면, 추측 없이 엄격한 논리를 따르는 컴퓨터 프로그램인 결정론적 체크(deterministic check)가 즉시 점수를 매깁니다. 만약 답변이 컴퓨터가 쉽게 파싱할 수 없는 복잡한 산문 형태라면, 결정론적 체크가 근거가 주장을 뒷받침하는지 먼저 확인한 후에야 별도의 인공지능 심판이 이를 검토합니다. 모든 점수는 해당 점수를 만들어낸 특정 근거와 연결되어, 왜 답변이 정답 혹은 오답으로 처리되었는지를 보여주는 명확하고 감사 가능한 경로를 생성합니다.
연구진은 이 플랫폼을 사용하여 인터벌이 자체 프라이빗 서버에 호스팅하는 강력한 오픈 웨이트 모델인 DeepSeek V4 Flash 기반의 비즈니스 인텔리전스 어시스턴트를 구축하고 테스트했습니다. 그들은 이 맞춤형 시스템을 다섯 개의 주요 기술 기업의 독점 모델과 또 다른 오픈 웨이트 모델을 포함한 7개의 다른 선도 모델과 비교했습니다. 비교는 엄격했습니다: 모든 시스템에 동일한 도구, 동일한 데이터, 그리고 동일한 질문 세트가 주어졌습니다. 결과에 따르면, 오픈 웨이트 모델이 회사의 특정 도구와 규칙으로 감싸졌을 때, 가장 진보된 독점 모델들과 대등한 성능을 보였습니다. 신중하게 선정된 97개의 시나리오 테스트 세트에서, 이 맞춤형 시스템은 96개를 정확히 답변한 반면, 다른 상위 모델들은 94개에서 97개 사이를 정확히 답변했습니다. 이는 모델을 둘러싼 도구와 규칙의 '하네스(harness)'가 모델 자체만큼이나 중요하다는 것을 입증했습니다. 이러한 특정 도구와 정의가 없었을 때 오픈 모델은 약간 더 낮은 성능을 보였지만, 이것들이 갖춰지자 가장 비싼 최첨단 시스템들과 동일한 수준의 정확도에 도달했습니다.
그러나 가장 중요한 발견은 비용에 관한 것이었습니다. 정확도는 전반적으로 비슷했지만, 정답 하나를 얻기 위한 가격은 천차만별이었습니다. 연구진은 각 시스템의 정답당 비용을 계산했습니다. 값비싼 클라우드 서비스를 통해 접속하는 독점 모델들은 인터벌이 사용한 셀프 호스팅 오픈 웨이트 모델보다 정답당 비용이 6배에서 77배까지 더 높았습니다. 연구진이 독점 모델에 적용 가능한 가장 저렴한 가격 계층을 적용했을 때조차, 이들은 여전히 회사의 자체 프라이빗 설정보다 현저히 높은 비용이 들었습니다. 이는 특정 데이터 요구 사항을 가진 기업들에게 모델의 선택이 단 하나의 "가장 똑똑한" 뇌를 찾는 문제가 아니라, 정확도, 제어력, 그리고 비용 사이의 적절한 균형을 찾는 문제임을 시사합니다. 이 연구는 LEDGER와 같은 엄격하고 감사 가능한 테스트 시스템을 사용함으로써, 기업들이 성능을 희생하지 않으면서도 더 저렴한 셀프 호스팅 모델을 자신 있게 선택할 수 있다고 주장합니다.
연구진은 자신들의 결과가 자신들의 워크로드와 테스트를 구성한 방식에 특화된 것임을 주의 깊게 명시했습니다. 그들은 이 오픈 웨이트 모델이 모든 상황에서 다른 모든 모델보다 보편적으로 우월하다고 주장하거나, 비용 절감이 모든 기업에 동일하게 적용될 것이라고 제안하지 않았습니다. 이 연구는 특정 비즈니스 질문 세트에 대한 성능을 측정했으며, 이러한 유형의 업무에서는 잘 설계된 모델 주변의 시스템이 가장 비싼 옵션들과 대등한 결과를 낼 수 있음을 발견했습니다. 핵심적인 교훈은 비즈니스 애플리케이션에서의 정확도가 인공지능 모델 자체만의 속성이 아니라, 그 주변에 구축된 전체 시스템의 속성이라는 점입니다. 테스트 과정을 투명하고 반복 가능하게 만듦으로써, 기업들은 가장 비싼 모델을 맹목적으로 결제하는 것에서 벗어나, 정확하면서도 경제적으로 지속 가능한 시스템을 구축하는 방향으로 정보에 입각한 엔지니어링 결정을 내릴 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.