기술 요약: 소형 언어 모델의 제약 과세

문제 제기

이 논문은 30 억 파라미터 미만의 소형 언어 모델 (SLM) 배포에서 종종 간과되는 중요한 인터페이스 문제를 다룹니다. 대규모 호스팅 모델은 종종 복잡한 추론 작업과 엄격한 출력 형식 (JSON, 정규식, 타입화된 추적) 을 동시에 해결할 충분한 용량을 갖추고 있지만, 상용 GPU 나 엣지 장치에서 작동하는 30 억 파라미터 미만의 모델은 '추론 대 포맷팅'의 트레이드오프에 직면합니다.

생산 시스템에서의 지배적인 가정은 JSON 스키마나 정규식과 같은 하드 출력 제약이 모델의 추론 과정을 변경하지 않고 출력의 신뢰성만 향상시키는 단순한 '래퍼'로 작용한다는 것입니다. 그러나 저자들은 SLM 의 경우 제약 자체가 추론 개입으로 작용한다고 주장합니다. 생성 과정에서 모델이 엄격한 스키마를 준수하도록 강제하면, 해법 해결에 사용되었어야 할 자원이 디코딩 과정에서 소모되어 출력이 문법적으로 유효하더라도 답변의 의미적 정확성이 저하될 수 있습니다.

방법론

저자들은 **제약 과세 (Constraint Tax)**라는 측정 프레임워크를 도입했는데, 이는 동일한 모델, 작업, 문제 인스턴스 조건에서 베이스라인 인터페이스 (비제약 또는 프롬프트 전용) 와 구조화된 출력 모드 간의 정확도 차이를 의미합니다.

실험 설계

• 작업: 이 연구는 결정론적 합성 작업 (산술, 기호 문자열 조작, 객체 추적, 불리언 논리) 과 생산 환경과 유사한 작업 (캘린더 도구 호출 인자 생성) 을 활용합니다. 이러한 작업들은 정확한 정답과 실행 가능한 검사기를 제공하여 LLM 을 심사자로 사용하는 평가의 필요성을 제거합니다.
• 모델: 실험은 상용 GPU 와 로컬 Mac 하드웨어에서 실행되는 30 억 파라미터 미만의 체크포인트 (예: Qwen2.5-0.5B, 1.5B, 3B; SmolLM2-1.7B) 에 초점을 맞춥니다.
• 백엔드: 이 연구는 로컬 추론을 위해 MLX 를, 제약 디코딩을 위해 vLLM/SGLang 을 사용하여 결과가 실제 서비스 스택을 반영하도록 합니다.
• 출력 모드: 벤치마크는 여러 인터페이스를 비교합니다:
  • 자유 형식: 상세하거나 간결한 추론.
  • 프롬프트 전용 JSON: 하드 제약 없이 JSON 출력을 지시하는 프롬프트.
  • 하드 제약: 직접 스키마 디코딩, 정규식 제약 최종 답변, 그리고 타입화된 추적 스키마.
  • 지연 제약: 모델이 작업을 자유롭게 해결한 후 결과를 프로그래밍 방식으로 필요한 스키마로 직렬화하는 '먼저 추론, 나중에 패키징' 접근 방식.

지표

이 논문은 배포 로그에서 종종 혼동되는 지표를 명시적으로 분리합니다:

1. 스키마 유효성: 출력이 파싱되어 스키마를 만족하는가?
2. 답변/실행 정확도: 내용이 의미적으로 올바른가?
3. 잘못된 유효 스키마 비율: 문법적으로 완벽하지만 의미적으로 잘못된 출력의 비율.
4. 제약 과세: 제약으로 인해 발생한 정확도 손실.

주요 결과

1. 트레이드오프: 유효성 대 정확성

30 억 파라미터 미만의 모델을 대상으로 한 15,000 회 생성 주된 테스트에서:

• 유효성: 하드 답변 전용 스키마 디코딩은 스키마 유효성을 **61.5%**에서 **100.0%**로 증가시켰습니다.
• 정확도: 반면, 답변 정확도는 **19.7%**에서 **11.0%**로 하락했습니다.
• 침묵하는 후퇴: 가장 중요한 발견은 잘못된 유효 스키마 출력의 증가로, 이는 **49.5%**에서 **88.9%**로 증가했습니다. 파서는 '더 깨끗한' 스트림을 보지만, 실행기는 잘못된 결정을 포함한 잘 형성된 객체를 더 많이 받게 됩니다.

2. 캘린더 도구 호출 유사체

이 실험은 프롬프트 전용 모드와 하드 스키마 모드 모두에서 100% 스키마 유효성을 달성하는 작업을 사용하여 의미적 영향을 분리합니다.

• 프롬프트 전용 JSON: **91.5%**의 실행 정확도를 달성했습니다.
• 하드 스키마 디코딩: **48.0%**의 실행 정확도로 하락했습니다.
• 분석: 오류는 순수하게 의미적이었습니다. 예를 들어, '30 분 회의'에 대한 요청은 duration_minutes: 180을 가진 유효한 JSON 객체로 이어졌습니다. 스키마는 만족되었지만, 도구는 잘못된 작업을 실행하게 됩니다. 이는 제약만으로 인한 43.5 포인트의 실행 정확도 손실을 나타냅니다.

3. 경계 및 백엔드 효과

• 30 억 파라미터 경계: '직접 스키마 과세'는 30 억 파라미터 경계 (Qwen2.5-3B) 에서도 지속되어, 하드 제약 하에서 답변 정확도가 여전히 15.3 포인트 하락했습니다.
• 백엔드 민감도: 일부 모델 (예: SmolLM2) 의 경우 서비스 엔진 (vLLM 대 SGLang) 에 따라 결과가 달라져, 제약 디코딩 행동은 모델 가중치뿐만 아니라 토크나이저, 문법 구현, 커널을 포함한 전체 서비스 스택의 속성임을 나타냅니다.

4. 완화 전략: "자유롭게 추론, 늦게 제약"

이 연구는 지연 제약이라는 건설적인 설계 패턴을 식별합니다. 모델이 먼저 자유 형식 솔루션을 생성하도록 허용한 후 프로그래밍 방식으로 이를 필요한 스키마로 패키징하면, 시스템은 자유 형식 생성의 의미적 정확성을 유지하면서 100% 스키마 유효성을 달성할 수 있습니다. 확장된 인터페이스 연구에서 이 접근 방식은 100% 유효성을 유지하면서 **40.7%**의 실행 정확도 (직접 스키마의 26.8% 대비) 를 달성했습니다.

중요성 및 주장

이 논문은 소형 언어 모델의 경우 구조화된 출력 제약이 중립적인 포맷팅 유틸리티가 아니라 모델의 추론 경로를 변경하는 능동적인 개입이라고 주장합니다.

• 신뢰성 재정의: 저자들은 '스키마 유효성'만 추적하는 생산 대시보드는 오해의 소지가 있다고 주장합니다. 100% 유효성을 가진 시스템이라도 '잘못된 유효 스키마' 실패 비율이 높아 침묵하는 실행 오류로 이어질 수 있습니다.
• 측정 프로토콜: 이 논문은 배포 실패를 정확하게 진단하기 위해 스키마 유효성, 답변 정확도, 실행 정확도, 그리고 잘못된 유효 스키마 비율을 분리하는 프로토콜을 확립합니다.
• 설계 패턴: 주요 엔지니어링 권장 사항은 늦게 제약하는 것입니다. 시스템은 모델이 침입적인 포맷팅 제약 없이 작업을 해결하도록 허용하고, 하류 계약이 이 2 단계 프로세스를 허용하는 경우에만 추론이 완료된 후 스키마를 적용해야 합니다.
• 범위: 저자들은 이러한 발견이 '출력 제어 하의 추론' 스트레스 테스트와 30 억 파라미터 미만의 모델에 구체적임을 겸손하게 지적합니다. 스키마가 보편적으로 나쁘다고 주장하지는 않습니다 (베이스라인이 약할 때 SmolLM2 가 제약 하에서 개선된 점을 언급) 만, 각 배포에 대해 트레이드오프를 경험적으로 측정해야 함을 강조합니다.

결론적으로, 이 논문은 SLM 의 경우 '래퍼'가 답변을 변경할 수 있다고 주장합니다. 생산 시스템은 문법적 정확성을 강제하는 것이 의미적 정확성의 대가가 되지 않도록 제약 과세를 측정해야 합니다.