The Format Tax

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 에게 JSON, XML, LaTeX, Markdown 등 구조화된 형식 (Structured Output) 으로 응답을 요청하는 것은 소프트웨어 시스템과 모델 간의 표준 인터페이스가 되었습니다. 그러나 이 논문은 구조화된 출력 요구사항이 오픈 가중치 (open-weight) 모델의 추론 및 작성 능력을 심각하게 저하시킨다는 것을 발견했습니다.

• 기존 통념: 문법 제약 디코딩 (Grammar-Constrained Decoding, GCD) 과 같은 기술이 유효한 형식을 보장하므로, 모델의 추론 과정에는 영향을 미치지 않아야 한다고 여겨졌습니다.
• 실제 발견: 구조화된 형식을 요구하는 것만으로도 모델의 정확도가 크게 떨어집니다. 이를 "Format Tax (형식 과세)" 라고 명명했습니다.
• 핵심 질문: 이 성능 저하의 주된 원인은 디코딩 단계의 샘플링 편향 (sampling bias) 때문인가, 아니면 프롬프트 단계에서 모델이 형식 요구사항을 처리하는 과정에서 발생하는 인지적 부하 때문인가?

2. 방법론 (Methodology)

저자들은 10 개의 모델 (6 개 오픈 가중치, 4 개 API 모델), 4 가지 형식 (JSON, XML, Markdown, LaTeX), 그리고 수학/과학/논리/작문 등 4 가지 과제를 대상으로 실험을 설계했습니다.

• 실험 변수 분리:
  1. 생성 전략 (Generation Strategy):
     • 1-Turn: 한 번의 호출로 추론과 형식 출력을 동시에 생성.
     • 2-Turn: 1 단계에서는 자유 형식 (Freeform) 으로 답을 생성하고, 2 단계에서 이를 구조화된 형식으로 변환 (재포맷팅).
     • Thinking (Extended Thinking): 모델이 내부적으로 추론 과정 (Scratchpad) 을 먼저 수행한 후 최종 답을 생성하는 방식.
  2. 프롬프트 구성 (Prompt Variations):
     • 문법 (Grammar), 예시 (Few-shot), 작업 설명 (Task) 을 포함하거나 생략.
     • GCD (Grammar-Constrained Decoding): 디코딩 단계에서 문법 제약을 적용하거나 적용하지 않음.
• 측정 지표:
  • Format Tax: Perf_freeform - Perf_format-constrained (양수일수록 형식 요구로 인한 성능 저하).
  • Flip Rate: 자유 형식에서는 정답이었으나 구조화된 형식에서는 오답이 되는 비율.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 형식 과세의 주된 원인은 '프롬프트' (Prompt-Level)

기존 연구는 디코더의 문법 제약 (GCD) 이 샘플링을 왜곡하여 성능 저하를 일으킨다고 가정했습니다. 하지만 이 연구는 성능 저하의 대부분이 디코딩 이전, 즉 '형식을 요청하는 프롬프트' 단계에서 발생함을 증명했습니다.

• 증거: 문법 제약 (GCD) 을 적용하지 않은 경우 (GET·) 와 적용한 경우 (GETC) 의 성능 저하 폭이 거의 동일했습니다.
• 통계: 성능 저하가 통계적으로 유의미한 39 개 셀 중 36 개 (92%) 가 문법 제약 없이도 프롬프트 요청만으로 발생했습니다.
• 결론: 디코더 엔지니어링 (GCD 개선) 만으로는 이 격차를 해결할 수 없으며, 모델이 프롬프트에서 형식 요구사항을 처리하는 방식 자체가 추론 능력을 방해합니다.

B. 추론과 형식 분리 (Decoupling) 를 통한 회복

추론 (Reasoning) 과 형식 (Formatting) 을 분리하는 전략이 형식 과세를 대부분 해결했습니다.

• 2-Turn 전략: 먼저 자유 형식으로 답을 내고, 두 번째 호출에서 이를 구조화하는 방식.
  • 결과: 72 개 모델 - 작업 - 형식 조합 중 42 개에서 정확도가 유의미하게 향상되었습니다 (평균 +6.8%p).
• Thinking (확장된 사고): 모델이 내부적으로 추론을 먼저 수행한 후 형식화된 답을 내는 방식.
  • 결과: 수학 및 과학 과제에서 큰 개선을 보였으나, 작업과 모델에 따라 편차가 있었습니다.
• 의미: 형식 과세는 구조화된 생성의 본질적 한계가 아니라, 추론과 형식화를 동시에 처리하려는 모델의 인지적 충돌에서 비롯됨을 시사합니다.

C. 오픈 vs 폐쇄 모델의 격차

• 오픈 가중치 모델: 모든 모델에서 구조화된 출력 시 성능 저하가 관찰되었습니다.
• 최신 폐쇄형 모델 (Closed-weight): Claude Haiku 4.5, Grok 4.1, GPT-5.4 등의 최신 모델은 형식 요구사항에 따른 성능 저하가 거의 없거나 오히려 향상되었습니다.
• 시사점: 형식 과세는 피할 수 없는 한계가 아니며, 적절한 학습 (Fine-tuning) 이나 규모 확장을 통해 해결 가능한 문제임을 보여줍니다.

D. 기존 완화 기법의 한계

• Few-shot 예시나 명시적인 스키마 설명을 프롬프트에 추가하는 것은 성능 저하를 해결하지 못했습니다.
• GCD 는 형식 준수율 (Compliance) 을 55.7% 에서 92.2% 로 높였지만, 추론 정확도는 오히려 더 떨어졌습니다. 즉, 형식이 올바르게 만들어져도 내용물의 질은 나빠진다는 것입니다.

4. 의의 및 결론 (Significance)

1. 패러다임 전환: 구조화된 출력의 성능 저하 원인을 '디코더의 기술적 한계'가 아닌 '프롬프트 설계 및 모델의 인지적 부하' 로 재해석했습니다.
2. 실용적 해결책: 재학습 없이도 2-Turn (자유 형식 후 재포맷팅) 또는 Thinking (내부 추론 분리) 전략을 사용하여 대부분의 손실된 정확도를 회복할 수 있음을 입증했습니다.
3. 모델 개발 방향: 오픈 가중치 모델 개발자에게는 구조화된 생성에 대한 강건성 (Robustness) 을 명시적인 학습 목표로 삼아야 함을 제안합니다.
4. 배포 전략: 저지연 (Low-latency) 이 필수적인 경우를 제외하고는, 복잡한 추론 작업에서는 1-Turn 구조화 생성보다 2-Turn 방식이 더 나은 정확도를 제공합니다.

요약하자면, "형식 과세 (The Format Tax)"는 모델이 추론과 형식화를 동시에 처리할 때 발생하는 비용이며, 이를 해결하기 위해서는 두 과정을 분리 (Decouple) 하는 것이 가장 효과적인 전략입니다.