Multi-Bin Batching for Increasing LLM Inference Throughput
이 논문은 예측된 실행 시간이 유사한 LLM 요청들을 미리 정해진 빈(bin)에 그룹화하여 정적 배칭(static batching) 환경에서 추론 처리량을 증명 가능한 수준으로 극대화함으로써, 생성 길이의 차이로 인해 발생하는 자원 저활용 문제를 크게 줄이는 제어 정책인 멀티 빈 배칭(Multi-Bin Batching)을 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 시대에 거대 언어 모델은 이야기를 쓰고, 코드를 디버깅하며, 복잡한 질문에 답할 수 있는 새로운 지능형 도구의 물결을 이끄는 엔진이 되었습니다. 이러한 시스템은 한 번에 하나의 토큰씩, 시퀀스 내의 다음 단어를 예측하는 방식으로 작동하며, 이 과정에는 엄청난 컴퓨팅 파워가 필요합니다. 많은 사람이 동시에 이 시스템을 유용하게 사용하기 위해서는 서버가 수천 개의 요청을 동시에 처리할 수 있어야 합니다. 이를 수행하는 표준적인 방법은 '배칭(batching)'이라 불리는 기술로, 컴퓨터가 여러 요청을 하나로 묶어 마치 여러 승객을 태운 버스가 동일한 목적지로 이동하는 것처럼 동시에 처리하는 방식입니다. 이러한 병렬 처리는 속도 면에서 필수적이지만, 미묘한 비효율성을 초래합니다. 즉, 버스가 다음 여정을 떠나기 위해서는 그룹 내의 모든 승객이 준비될 때까지 기다려야 한다는 점입니다. 만약 열 명의 그룹 중 한 명이 준비하는 데 오랜 시간이 걸린다면, 컴퓨터는 그 단 하나의 느린 요청을 기다리느라 대기 상태로 머물며 귀중한 시간과 에너지를 낭비하게 됩니다.
연구자들은 배칭의 효율성을 포기하지 않으면서도 이 기다림의 문제를 해결할 방법을 오랫동안 모색해 왔습니다. 한 연구에서는 들어오는 요청들을 예상 소요 시간에 따라 별도의 대기 줄로 조직하는 '멀티 빈 배칭(multi-bin batching)'이라는 솔루션을 제안합니다. 모든 요청을 하나의 혼합된 큐에 던져 넣는 대신, 시스템은 각 사용자가 원하는 답변의 길이를 예측하여 서로 다른 '빈(bin, 통)'에 분류합니다. 짧은 답변이 예상되는 요청은 하나의 빈으로 가고, 긴 답변이 예상되는 요청은 다른 빈으로 갑니다. 그런 다음 각 빈 내부에서 배치가 형성되므로, 하나의 그룹 안에 있는 요청들은 서로 유사한 지속 시간을 갖게 됩니다. 이는 빠른 요청들이 느린 요청들에 의해 지체되는 것을 방지하여, 컴퓨터가 그룹의 작업을 훨씬 더 빨리 마칠 수 있게 하고 다음 작업을 바로 시작할 수 있도록 해줍니다.
연구진은 서버를 일정한 흐름의 요청을 처리하는 단일 기계로 취급하는 수학적 프레임워크를 사용하여 이 아이디어를 테스트했습니다. 그들은 빈의 개수를 늘릴수록 시스템이 지연 시간(straggler)을 기다리느라 낭비되는 시간이 없는 이론적 최대 속도에 점점 더 가까워질 수 있음을 증명했습니다. 분석 결과, 빈이 올바르게 설정되면 그룹이 완료되기를 기다리는 컴퓨터의 대기 시간이 현저히 감소함을 보여주었습니다. 또한 연구는 답변 생성 시간이 특정 통계적 패턴을 따를 때 어떻게 작동하는지 탐구하였으며, 타이밍이 예측 불가능할 때도 이 논리가 유효함을 확인했습니다. 핵심적인 발견은 단순히 요청이 도착한 순서대로 처리하는 것이 아니라, 유사한 작업들을 함께 그룹화하는 것만으로도 현재 시스템을 괴롭히는 유휴 시간을 극적으로 줄일 수 있다는 것입니다.
이 이론이 실제 세계에서도 작동하는지 확인하기 위해, 연구팀은 고성능 그래픽 카드를 사용하여 인기 있는 오픈 소스 모델로 실험을 진행했습니다. 그들은 이 새로운 방법을 표준적인 배칭 방식 및, 새로운 요청이 자리가 생기는 즉시 그룹에 끼어들 수 있게 해주는 '컨티뉴어스 배칭(continuous batching)'이라는 더 발전된 시스템과 비교했습니다. 연구진이 각 답변이 걸리는 시간을 정확히 알고 있었던 통제된 테스트에서, 16개의 빈을 사용한 멀다 빈 방식은 표준 방식을 150% 이상 능가했습니다. 이 특정 시나리오에서 이 방식은 컨티뉴어스 배칭 시스템을 약간 앞질렀는데, 이는 만약 작업이 얼마나 걸릴지 완벽하게 예측할 수 있다면 요청을 촘촘하게 분류하는 것이 매우 효과적인 전략임을 시사합니다.
하지만 현실 세계는 결코 그렇게 예측 가능하지 않습니다. 연구진이 실제 사용자 질문 데이터셋에 이 방법을 적용했을 때, 즉 답변의 길이를 확정적으로 아는 대신 추정해야 했을 때, 결과는 여전히 인상적이었지만 더 완만한 수준이었습니다. 응답 길이를 추측하는 경량 도구를 사용했을 때, 멀티 빈 시스템은 표준 방식 대비 처리량을 150% 개선하며 거대한 이득을 보여주었습니다. 그럼에도 불구하고, 전체적으로 가장 빨랐던 컨티뉴어스 배칭 시스템에는 미치지 못했습니다. 추정된 결과와 '완벽한 지식'을 바탕으로 한 결과 사이의 격차는 예측의 정확도가 매우 중요하다는 것을 보여주었습니다. 시스템이 길이를 정확하게 예측했을 때 성능이 크게 뛰어올랐기 때문입니다. 이는 분류 전략 자체가 강력하긴 하지만, 그 잠재력을 온전히 발휘하기 위해서는 작업을 시작하기 전에 얼마나 잘 예측하느냐에 달려 있음을 나타냅니다.
연구는 이 빈닝(binning) 접근법이 이미 사용 중인 정교한 시스템을 대체하는 것이 아니라, 그 시스템에 추가될 수 있는 강력한 도구라고 결론짓습니다. 메인 처리 큐에 요청이 도달하기 전 스마트한 분류 메커니즘 역할을 함으로써, 현대의 서버가 트래픽을 더 효율적으로 처리하도록 도울 수 있습니다. 연구진은 빈의 개수가 조절 가능한 노브(knob) 역할을 한다는 것을 발견했습니다. 빈이 너무 적으면 여전히 속도 불일치 문제를 겪게 되고, 너무 많으면 요청을 분류하는 데 드는 시간이 오히려 속도를 늦출 수 있습니다. 최적의 지점은 특정 워크로드와 시스템이 작업 길이를 얼마나 정확하게 예측할 수 있는지에 따라 달라집니다. 궁극적으로 이 연구는 요청을 그룹화하는 방식의 단순한 변화, 즉 유사한 작업을 낯선 이가 아닌 이웃으로 대우하는 것이 우리의 일상적인 디지털 삶을 뒷받침하는 인공지능 시스템의 속도를 획기적으로 높일 수 있음을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.