Balancing Latency and Accuracy of Code Completion via Local-Cloud Model Cascading

이 논문은 로컬 소형 모델과 클라우드 대형 모델을 연결하고 사용자 행동을 활용하여 트리거하는 'MCCom' 프레임워크를 제안함으로써, 코드 완성의 지연 시간을 줄이고 클라우드 비용은 절감하면서도 정확도를 향상시키는 균형을 달성했습니다.

핵심

🚀 핵심 아이디어: "작은 직원이 먼저 보고, 어려운 건 큰 상사에게 넘겨라"

코드를 작성할 때 AI 가 다음 줄을 추천해주는 상황을 상상해 보세요.

• 기존 방식 1 (대형 모델만 사용): 모든 질문을 거대한 슈퍼컴퓨터 (클라우드) 에 보냅니다. 답은 정확하지만, 서버까지 갔다 오는 시간이 걸려서 느립니다.
• 기존 방식 2 (소형 모델만 사용): 내 컴퓨터에 있는 작은 AI 가 바로 답을 줍니다. 매우 빠르지만, 복잡한 질문에는 엉뚱한 답을 내놓을 때가 많습니다.

이 논문은 **"둘 다 쓰는 게 정답"**이라고 말합니다. 하지만 무조건 둘 다 쓰면 비용과 시간이 더 걸리죠. 그래서 MCCom은 다음과 같은 전략을 씁니다.

"일단 작은 직원 (로컬 모델) 이 먼저 답을 내세요. 만약 그 답이 괜찮으면 바로 사용하세요. 만약 개발자가 (사용자가) 그 답을 싫어하면, 그때 가서야 거대한 상사 (클라우드 모델) 에게 물어보세요."

이렇게 하면 대부분의 간단한 질문은 순식간에 해결되고, 진짜 어려운 질문만 상사에게 넘겨서 전체 속도를 높이면서도 정확도도 유지할 수 있습니다.

---

🛠️ MCCom 의 3 가지 비밀 무기

이 시스템이 어떻게 그렇게 똑똑하게 작동할까요? 세 가지 비법이 있습니다.

1. "사용자의 눈빛을 읽는 센서" (동적 라우팅)

기존에는 AI 가 "내가 80% 확신해!"라고 말하면 바로 상사에게 넘기는 식이었습니다. 하지만 MCCom 은 사용자의 행동을 봅니다.

• 비유: 식당에서 웨이터가 메뉴를 추천합니다.
  • 고객이 "네, 그거 주세요"라고 하면 (수락), 주문이 끝납니다.
  • 고객이 고개를 저으며 다른 메뉴를 찾거나 직접 글을 쓰기 시작하면 (거부), 웨이터는 "아, 이 고객은 더 전문적인 셰프의 도움이 필요하구나"라고 생각하고 바로 주방장 (클라우드 모델) 을 부릅니다.
• 효과: 불필요하게 주방장에게 연락할 필요가 없어져서 대기 시간이 획기적으로 줄어듭니다.

2. "두 단계 추측 게임" (Two-Stage Speculative Decoding)

AI 가 코드를 하나씩 만들어내는 과정은 시간이 걸립니다. MCCom 은 이 과정을 '예측'으로 가속화합니다.

• 비유: 글쓰기 대회에서 심사위원 (큰 모델) 이 글을 다 읽고 채점하는 대신, 미리 작성된 초안 (작은 모델이 만든 답) 을 보고 "이 부분들은 맞네, 이 부분만 고쳐주면 돼"라고 빠르게 수정하는 방식입니다.
• 특이점: 작은 모델이 답을 내기 전에, 이미 작성된 코드와 비슷한 패턴을 찾아서 '초안'을 먼저 만들어줍니다. 이렇게 하면 작은 모델도, 큰 모델도 훨씬 빠르게 답을 낼 수 있습니다.

3. "실패도 기회로!" (반복적 검색)

작은 모델이 엉뚱한 답을 냈을 때, 그냥 버리지 않습니다.

• 비유: 작은 모델이 "오늘 날씨가 비가 올 것 같아"라고 했는데, 실제로는 "눈"이 온다고 가정해 보세요.
  • 기존 방식: "틀렸네" 하고 끝납니다.
  • MCCom 방식: "아, 비가 온다고 생각했구나. 그럼 '날씨'와 '비' 관련 자료를 다시 찾아보자!"라고 합니다. 작은 모델의 엉뚱한 답을 단서로 삼아 더 정확한 자료를 찾아서 큰 모델에게 줍니다.
• 효과: 큰 모델이 더 정확한 답을 낼 수 있도록 문맥을 풍부하게 만들어줍니다.

---

📊 결과는 어떨까요?

연구팀이 실제 프로젝트 데이터를 가지고 실험해 본 결과:

• 속도: 기존 클라우드 모델만 쓰는 방식보다 최대 47.9% 더 빨라졌습니다. (약 25% 평균 속도 향상)
• 정확도: 작은 모델만 쓰는 것보다 훨씬 정확하고, 오히려 클라우드 모델만 쓰는 것보다 정확도가 8.9% 더 높아지기도 했습니다. (작은 모델의 실수가 큰 모델을 더 잘 가르쳐 주기 때문)
• 비용: 클라우드 서버를 부르는 횟수가 약 46% 줄어 비용과 에너지도 아낄 수 있습니다.

💡 결론

이 논문은 **"빠른 작은 AI 와 정확한 큰 AI 가 팀을 이루어, 사용자의 반응을 보고 언제 누구를 부를지 결정하는 시스템"**을 만들었습니다.

마치 스마트한 비서가 있습니다.

• 간단한 건 비서가 바로 처리해서 시간을 아끼고,
• 복잡한 건 비서가 "이건 제가 잘 모르겠네요, 대표님 (큰 AI) 에게 여쭤볼까요?"라고 물어본 후 대표님이 처리하게 합니다.

이 덕분에 개발자들은 기다림 없이, 하지만 실수 없이 코드를 작성할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 라인 단위 코드 완성 (Line-level code completion) 은 개발자가 타이핑하는 동안 실시간으로 현재 라인을 완성하는 기능으로, 현대 IDE 의 핵심 기능입니다.
• 핵심 문제: 코드 완성 시스템은 **지연 시간 (Latency)**과 정확도 (Accuracy) 사이의 근본적인 트레이드오프에 직면해 있습니다.
  • 대규모 언어 모델 (LLM): 높은 정확도와 복잡한 패턴 생성 능력이 있지만, 클라우드 배포 시 높은 계산 비용과 지연 시간으로 인해 실시간 상호작용에 부적합할 수 있습니다.
  • 소규모 모델/정적 분석: 로컬에서 빠르게 실행되어 지연 시간이 짧지만, 정확도가 낮고 복잡한 시나리오에서 성능이 떨어집니다.
• 목표: 로컬의 빠른 속도와 클라우드의 높은 정확도를 모두 달성하면서, 두 요소 간의 균형을 최적화하는 새로운 프레임워크가 필요합니다.

2. 제안 방법론: MCCom (Methodology)

저자들은 **MCCom (Model-Cascading-based code Completion)**이라는 새로운 프레임워크를 제안합니다. 이는 기본적으로 로컬의 작은 모델을 사용하고, 필요할 때만 클라우드의 큰 모델을 호출하는 모델 캐스캐이딩 (Model Cascading) 전략을 따릅니다.

2.1 핵심 구성 요소

1. 행동 기반 라우팅 전략 (Behavior-driven Routing Strategy):

   • 신뢰도 기반 (Static): 로컬 모델이 생성한 토큰의 확률 (첫 3 개 토큰의 평균 확률) 을 기반으로 모델이 잘 수행할지 판단합니다. 임계값 이하일 경우 클라우드 모델로 전환합니다.
   • 사용자 피드백 기반 (Dynamic): 사용자가 제안된 코드를 받아들이지 않고 계속 타이핑하거나 삭제하는 행동을 '불만족' 신호로 간주합니다. 이 경우에만 클라우드 모델을 호출하여 불필요한 클라우드 연산을 줄입니다.

2. 2 단계 추측적 디코딩 (Two-Stage Speculative Decoding):

   • 1 단계 (로컬 모델): 신경망 모델이 아닌 **맥락 기반 매칭 (Context-based matching)**을 통해 드래프트 (Draft) 를 생성합니다. (예: 커서 앞의 줄을 이전 코드와 매칭하여 다음 문장을 예측). 이는 매우 낮은 지연 시간으로 드래프트를 제공합니다.
   • 2 단계 (클라우드 모델): 로컬 모델의 제안이 거절된 경우, 그 출력을 클라우드 대형 모델의 '드래프트'로 재사용하여 병렬 검증 (Speculative Decoding) 을 수행합니다. 이를 통해 대형 모델의 추론 속도를 가속화합니다.

3. 반복적 검색 (Iterative Retrieval):

   • 로컬 모델의 제안이 거절되더라도, 그 제안은 개발자의 의도에 대한 유용한 힌트를 포함하고 있습니다.
   • 거절된 로컬 모델의 출력을 새로운 쿼리로 활용하여 저장소에서 더 관련성 높은 코드 조각을 재검색 (Re-retrieval) 합니다.
   • 이렇게 강화된 컨텍스트를 클라우드 모델에 입력하여 완성도의 정확도를 높입니다.

4. 경량 모델 학습:

   • 코드 완성을 위한 고품질 소형 모델이 부족하므로, 1 억 2 천 1 백만 (121M) 파라미터의 경량 모델을 처음부터 훈련시켰습니다. 이 모델은 7B(70 억) 모델 성능의 약 73.8% 를 달성합니다.

3. 주요 기여 (Key Contributions)

1. MCCom 프레임워크 제안: 로컬 소형 모델과 클라우드 대형 모델을 캐스캐이딩하여 지연 시간과 정확도의 균형을 최적화하는 새로운 아키텍처를 제시했습니다.
2. 새로운 라우팅 메커니즘: 로컬 모델의 신뢰도와 **암묵적인 사용자 행동 (사용자가 제안 수락/거부)**을 결합하여 언제 클라우드 모델을 호출할지 결정하는 지능형 전략을 개발했습니다.
3. 효율적 협업 기술:
   • 2 단계 추측적 디코딩: 로컬과 클라우드 모델 모두의 추론 속도를 가속화합니다.
   • 반복적 검색: 거절된 로컬 출력을 활용하여 컨텍스트를 정제하고 대형 모델의 성능을 향상시킵니다.
4. 새로운 벤치마크 (StmtEval) 구축: 기존 RepoEval 이 문법적 라인 단위에만 초점을 맞춘 한계를 보완하기 위해, 기능적으로 완전한 '문장 (Statement)' 단위를 평가 대상으로 하는 새로운 벤치마크를 구축했습니다.
5. 광범위한 실험 및 검증: 다양한 LLM(Qwen, DeepSeek, CodeLlama) 과 벤치마크에서 MCCom 의 유효성을 입증했습니다.

4. 실험 결과 (Results)

RepoEval 및 새로 구축된 StmtEval 벤치마크에서 수행된 실험 결과는 다음과 같습니다.

• 지연 시간 감소:
  • 기존 LLM-only 방식 대비 최대 47.9%, 평균 25.6% 의 지연 시간 단축을 달성했습니다.
  • 클라우드 모델 호출 횟수를 평균 46.3% 감소시켰습니다.
• 정확도 향상:
  • LLM-only 방식 대비 평균 8.9% 의 정밀 일치 (Exact Match)율 향상을 보였습니다. 이는 로컬 모델이 성공한 경우와 반복적 검색을 통해 대형 모델이 더 나은 결과를 낸 경우 때문입니다.
  • RepoCoder 및 CSDrafting 같은 기존 캐스캐이딩/추측적 디코딩 방법론보다도 지연 시간과 정확도 면에서 우위를 점했습니다.
• 소형 모델 성능:
  • 훈련한 121M 파라미터 모델은 7B 모델 성능의 **73.8%**를 달성하여, 캐스캐이딩의 첫 단계로 적합함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 개발자의 실시간 흐름 (Flow) 을 방해하지 않으면서 고품질 코드를 제안할 수 있는 시스템을 구현했습니다. 이는 클라우드 비용 절감과 사용자 경험 (UX) 개선이라는 두 마리 토끼를 잡는 솔루션입니다.
• 기술적 혁신: 단순히 모델을 나열하는 것을 넘어, **사용자의 행동 (거부/수락)**을 시스템의 의사결정 루프에 통합하고, 거절된 출력을 새로운 검색 신호로 활용하는 등 상호작용적 요소들을 효과적으로 결합했습니다.
• 미래 전망: 소형 모델의 성능 향상과 사용자 장치의 하드웨어 발전에 따라, 본 프레임워크의 효율성과 적용 범위는 더욱 확대될 것으로 기대됩니다.

이 논문은 코드 완성 도구의 한계를 극복하고, 로컬과 클라우드 컴퓨팅 자원을 지능적으로 조율하여 **저지연 (Low-latency)**과 **고정확도 (High-accuracy)**를 동시에 달성하는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.