기술 요약: 개선이 아닌 수리: 도구 호출 절제(Tool-Call Abstention)에서의 제약된 디코딩 분해

문제 정의

최근의 제약된 디코딩(constrained decoding) 연구(예: Lee et al., 2026a)는 형식 제약(JSON 스키마 등)이 성능 비용을 발생시키지만, 이 비용의 대부분은 디코더 강제 적용보다는 프롬프트 지시문에서 기인한다는 점을 입증했다. 그러나 해당 선행 연구는 함수 호출(function calling) 영역을 결론에서 명시적으로 제외했는데, 이 영역의 제약은 단순한 표현 선호도(답을 쓰는 특정 방식을 제한)가 아니라 정확성 요구사항(특정 답변을 배제)을 인코딩하기 때문이다.

본 논문은 도구 호출 절제(tool-call abstention), 즉 모델이 적절한 도구가 없을 때 도구를 호출하지 않기로 올바르게 결정해야 하는 시나리오의 특수한 사례를 조사한다. 이 설정에서 제약된 디코더(도구 이름들의 열거형(enum)과 절제 토큰으로 제한됨)는 독특한 과제에 직면한다. 제약은 단순히 출력을 포맷팅하는 것이 아니라 가능한 답변의 집합을 제한하며, 이는 모델의 판단을 직접적으로 방해하여 '도구 미사용(no tool)'이라는 올바른 결정을 삭제할 가능성이 있다. 핵심 질문은 제약된 디코딩의 성능 저하 기여도가 선행 연구에서 다른 포맷에 대해 제안된 것처럼 무시할 만한 수준인지, 아니면 제약이 모델의 판단에 직접 간섭하기 때문에 유의미한 수준인지 여부이다.

방법론

본 연구는 프롬프트로부터 디코더의 효과를 격리하고, 길이 제약의 효과와 어휘 제약의 효과를 분리하기 위해 엄격한 실험 설계를 채택한다.

실험 설정

• 모델: Open-weight Qwen3 모델 (0.6B, 1.7B, 4B 파라미터).
• 언어: 영어 및 한국어.
• 벤치마크: MetaTool Task2를 활용하며, "도구 필요(tool-needed)"와 "도구 절제(tool-abstention)" 항목이 쌍을 이루도록 구성하였다. 데이터셋은 동일한 질의에 대해 200개의 절제 항목과 200개의 도구 필요 항목을 포함한다.
• 스코어링: Lee et al. (2026b)에서 채택된 엄격한 결정론적 규칙을 사용한다. 절제는 출력에 절제 토큰이 포함되어 있고 도구 이름이 포함되지 않은 경우(또는 절제 토큰 이후에 등장하는 경우)에만 정답으로 처리된다. 다중 후보 출력은 오답으로 처리된다.

3가지 조건 설계

제약 비용(constraint tax)을 분해하기 위해 저자는 바이트 단위로 동일한 프롬프트에 대해 세 가지 조건을 실행한다:

1. contract-free: 256-토큰 예산을 가진 비제약 생성 (설명을 허용함).
2. contract-short: 비제약 생성이지만 첫 번째 줄에서 중단 (설명 능력을 제거하여 길이 제한의 비용을 격리함).
3. constrained: 10개의 후보 도구와 절제 토큰의 열거형(enum)으로 제한된 생성, 첫 번째 줄에서 중단.

지표 및 분해

저자는 특정 효과를 격리하기 위해 세 가지 차이값을 정의한다:

• $\Delta_{length}$: acc(short) - acc(free). 출력 길이를 제한(첫 줄에서 중단)함으로써 발생하는 비용을 측정한다.
• $\Delta_{mask}$: acc(constrained) - acc(short). 이미 길이가 제어된 상태에서 문법(열거형)이 추가로 유발하는 한계 비용을 측정한다.
• $\Delta_{total}$: acc(constrained) - acc(free). 위 두 값의 합인 제약된 디코딩의 총 비용이다.

이 설계는 저자가 "포맷팅"(조기 중단)의 비용과 "마스킹"(토큰 집합 제한)의 비용을 구분할 수 있게 한다.

메커니즘 변수

연구는 비제약 조건에서 열거형 문법에 의해 금지된 토큰에 모델이 할당한 확률 질량(probability mass)인 **masked_mass**를 측정한다. 이는 Reddy et al. (2래데)이 제안한 "가용 질량(feasible mass)"의 보집합이다.

주요 기여

1. 제약 비용의 분해: 본 논문은 도구 절제 설정에서 제약된 디코딩의 총 비용이 단일한 음수 값이 아니라, 서로 반대되는 부호를 가진 두 구성 요소의 합임을 보여준다.

   • 중단 토큰(stop token) (길이 제약)은 종종 상당한 정확도 하락을 유발한다 (예: -20.0 포인트).
   • 열거형 제약(enum constraint) (어휘 마스킹)은 종종 이러한 손실의 일부를 회복시킨다 (예: +19.5 포인트).
   • 결과적으로, $\Delta_{total}$은 0에 가깝거나 음수가 될 수 있으며, 이는 문법이 모델의 내재적 판단을 개선하기보다 오히려 길이 제약으로 인한 피해를 "수리(repairing)"하고 있음을 은폐하고 있다는 사실을 보여준다.

2. 수리(Repair) 대 개선(Improvement): 저자는 제약이 모델의 의사결정 능력을 개선하지 못함을 보여준다. 제약에 의해 "수리"된 698개의 절제 사례 중, 545개는 비제약 출력에서 읽을 수 있는 답이 없는 경우였으며, 모델이 올바른 판단을 내렸으나 포맷팅 때문에 실패한 경우는 0건이었다. 제약은 단순히 모델이 유효한 토큰을 출력하도록 강제하여 가독성을 회복시킨 것이지, 근본적인 논리를 강화한 것이 아니다.

3. 결정 경계의 이동: 제약은 가독성을 "수리"하지만, 동시에 결정 경계를 이동시킨다. 자유 생성 베이스라인과 비교했을 때, 제약은 도구 선택 정확도는 높이지만 절제 정확도는 감소시킨다. 이는 문법이 모델을 도구 호출 쪽으로 밀어붙여, 절제가 정답인 상황에서도 도구 이름을 말하게 함을 나타낸다.

4. 언어 독립성: 언어별 확률 분포가 비용을 변화시킬 것이라는 가설과 달리, 연구 결과 한국어와 영어 사이의 내부 항목 통계(within-item statistic)(두 언어 모두 제약 없이 정답을 맞힌 항목에서의 실패 비교)는 유의미한 차이를 보이지 않았다. 그러나 마스크 확률 질량(masked probability mass)이 언어 차이를 완전히 설명하지는 못한다. 로지스틱 회귀 분석에서 언어 계수가 0을 포함하지 않았는데, 이는 질량 변수가 설명하지 못하는 잔여 언어 효과가 존재함을 의미한다.

5. 비선형 메커니즘: masked_mass와 절제 페널티 사이의 관계는 선형적이지 않다. 약 **0.480에서 브레이크포인트(breakpoint)**가 존재한다. 이 임계값 아래에서는 질량이 페널티를 거의 예측하지 못하지만, 위로는 페널티가 급격히 증가한다.

결과

• 절제 성능: 비제약 자유 생성 베이스라인과 비교했을 때, 절제에 대한 $\Delta_{total}$은 음수이며(성능 저하를 의미), 6개 모델/언어 셀 중 4개에서 구간이 0을 포함하지 않았다. 최악의 경우 -29.5 포인트의 하락을 보였다. 결코 0을 포함하지 않는 양수 값을 갖지 않았다.
• 분해: 가장 작은 모델(0.6B)의 한국어 실험에서, 중단 토큰만으로 -20.0 포인트의 비용이 발생했으나, 열거형을 추가하자 +19.5 포인트를 회복하여 순 비용이 -0.5가 되었다. 이는 "수리" 가설을 확인시켜 준다: 문법이 중단 토큰으로 인한 피해를 복구한다.
• 도구 선택: 도구 필요 항목의 경우, 제약은 일관되게 정확도를 개선한다 (모든 셀에서 양수의 $\Delta_{total}$ 발생), 이는 도구가 실제로 필요할 때는 제약이 도움이 됨을 확인해 준다.
• 언어 관련 주장: 언어 의존적 비용에 관한 사전 등록된 두 가지 가설은 모두 지지되지 않았다. 내부 항목 통계는 한국어와 영어 간의 유의미한 차이를 보이지 않았으며, 마스크 확률 질량 또한 두 언어를 구분하는 분산을 흡수하지 못했다 (회귀 분석에서 언어 계수가 여전히 유의미하게 남음).

의의 및 주장

본 논문은 제약된 디코딩의 제약이 "거의 무료"라는 선행 연구의 결론이 성립하지 않는다고 결론짓는다. 주요 의의는 제약 효과의 분해에 있다:

1. 관심사의 분리: 중단 토큰(길이 제 제어)과 열거형(어휘 제어)은 서로 반대되는 효과를 가진 분리 가능한 구성 요소이다. 두 가지 조건 설계(자유 생성 vs 제약 생성)는 이들을 하나의 숫자로 합쳐버려, 큰 손실과 큰 회복이 서로 상쇄되어 숨겨질 위험이 있다.
2. 이득의 본질: 이 설정에서 제약된 디코딩의 이점은 **형식(form)**이지 **판단(judgement)**이 아니다. 이는 읽을 수 없는 출력을 읽을 수 있게 만들 뿐, 언제 절제해야 하는지에 대한 모델의 결정 능력을 향상시키지 않는다. 오히려 도구 호출을 유도함으로써 그 결정을 저해할 수 있다.
3. 실무적 시사점: 실무자는 중단 토큰과 문법을 별도로 보고해야 한다. 단일 통합 지표에 의존하면, 제약된 디코딩이 절제 상황에서 중립적이거나 유익하다는 잘못된 결론을 내릴 수 있다. 실제로는 모델이 도구 호출을 올바르게 거절하는 능력을 적극적으로 해치고 있을 수 있기 때문이다.

본 논문은 연구 범위가 절제 설정과 특정 벤치마크(골드 도구가 항상 첫 번째 후보인 경우)에 국한됨을 명시하며 겸손한 태도를 유지한다. 이는 일반화 가능성을 제한할 수 있으나, 측정된 차이 자체에는 영향을 미치지 않는다. 본 논문은 새로운 훈련 방법이나 아키텍처를 제안하기보다는, 현재의 추론 시 제약 비용을 더 잘 이해하기 위한 측정 프레임워크를 제공한다.