TSCG: Deterministic Tool-Schema Compilation for Agentic LLM Deployments

TSCG는 비효율적인 JSON 스키마를 토큰 효율적인 구조화된 텍스트로 변환함으로써 현재 도구 사용 실패의 대부분을 초래하는 형식 불일치를 해결하여, 프로덕션 환경에서 소형 및 최첨단 LLM 의 도구 사용 정확도를 크게 향상시키는 결정론적이며 종속성이 없는 도구 스키마 컴파일러입니다.

핵심

상상해 보세요. 아주 똑똑하지만 약간 압도된 상태인 비서에게 일련의 지시를 전달하려고 한다고요.

문제: "JSON" 언어 장벽
현재 컴퓨터 프로그램들 (예: AI 에이전트) 이 보유한 도구들 (예: "웹 검색" 또는 "날씨 확인") 에 대해 서로 대화할 때, JSON이라는 형식을 사용합니다. JSON 은 컴퓨터가 빠르게 읽도록 설계된 경직되고 기술적인 문서 관리 시스템과 같습니다. 이는 대괄호, 따옴표, 반복적인 레이블로 가득 차 있습니다.

인간과 유사한 AI 모델, 특히 작고 빠른 모델들에게 이 JSON 을 읽는 것은 모든 단어가 무겁고 혼란스러운 플라스틱 케이스에 싸인 책을 읽으려는 것과 같습니다. AI 는 이 "플라스틱" (추가 기호와 구조) 에 너무 매몰되어 실제 지시를 잊어버립니다. 이 논문은 이를 "프로토콜 불일치"라고 부릅니다. AI 는 자연어 문장이 아닌 컴퓨터 파일을 읽으려 하고 있는 것입니다.

해결책: TSCG (번역가이자 편집자)
저자 푸르칸 사키즐리 (Furkan Sakizli) 는 TSCG(토큰 - 컨텍스트 시맨틱 문법) 라는 도구를 개발했습니다. TSCG 를 컴퓨터와 AI 사이에 자리 잡은 초고속 결정론적 편집자로 생각하세요.

AI 가 지시를 보기 전에 TSCG 는 지저분한 JSON 파일을 즉시 깔끔하고 자연스러운 텍스트 형식으로 다시 씁니다. 이는 방대한 법적 계약을 명확한 불릿 포인트 지시 목록으로 재작성하는 것과 같습니다.

작동 방식 (8 가지 "편집자")
TSCG 는 마법이나 추측을 사용하지 않습니다. 텍스트를 정리하기 위해 8 가지 특정 규칙 ( "연산자"라고 함) 의 고정된 세트를 사용합니다:

1. 불필요한 장식을 제거합니다: "다음 항목들" 같은 정중한 표현이나 인간이 읽을 필요가 없는 중복 구절을 삭제합니다.
2. 가구를 재배치합니다: AI 모델이 문장의 시작과 끝 (이야기의 "책장"과 같은) 에 가장 주의를 기울이므로, 지시의 가장 중요한 부분을 맨 앞과 맨 뒤로 이동시킵니다.
3. AI 의 언어로 말합니다: AI 의 내부 사전이 여러 조각이 아닌 단일 "조각"으로 인식하는 기호로 변경하여 공간을 절약합니다.

결과: 소형 모델을 위한 기적
이 논문은 40 억에서 140 억 개의 "뇌 세포"를 가진 소형 모델부터 거대하고 최상위 모델에 이르기까지 12 가지 다른 AI 모델에서 이를 테스트했습니다.

• 소형 모델의 경우: 결과는 극적이었습니다. TSCG 없이는 20 가지 도구 목록을 제공받을 때 JSON 이 너무 혼란스러워 소형 모델이 거의 완전히 실패했습니다 (정확도 0%). TSCG 를 사용하면 정확도가 **84%**로 급등했습니다. 마치 AI 가 갑자기 "각성"하여 마침내 과제를 이해할 수 있게 된 것처럼요.
• 대형 모델의 경우: 초지능 모델조차도 더 나아졌습니다. 정확도가 높아지고 AI 사고 시간의 화폐인 "토큰" 사용량이 줄어들어 비용과 속도를 절약했습니다.

"아하!" 순간: 단순한 압축이 아닌 형식의 문제
이 논문에서 가장 흥미로운 발견 중 하나는 이것이 왜 작동하는지에 대한 이유입니다. 저자는 많은 소형 모델들에게 문제가 텍스트가 너무 길어서가 아니라 형식 (JSON) 이 적대자였다는 것을 깨달았습니다.

저자가 "JSON 텍스트"와 "일반 텍스트"(아무런 고급 압축 없이) 를 비교했을 때, 일반 텍스트만으로도 문제의 대부분이 해결되었습니다. TSCG 는 이의 궁극적인 버전입니다: 형식을 수정하고 텍스트를 압축합니다.

"일률적 적용" 신화
이 논문은 또한 모든 AI 모델이 동일하게 반응하지 않는다는 것을 발견했습니다.

• 일부 모델은 "배고픈" 모델입니다: TSCG 가 적용하는 모든 규칙을 좋아하며 모든 변경 사항마다 더 똑똑해집니다.
• 일부는 "민감한" 모델입니다: 일부 규칙은 좋아하지만 다른 규칙에는 혼란을 느낍니다. 너무 많은 변경 사항을 주면 실제로 성능이 떨어집니다.
• 일부는 "견고한" 모델입니다: 크게 상관하지 않으며 어떤 상황에서도 잘 작동합니다.

이는 모든 AI 에 대한 단일한 "완벽한" 설정이 없다는 것을 의미합니다. 사용하는 AI 에 따라 편집기를 조정해야 합니다.

요약하자면
TSCG 는 번역가 역할을 하는 무료 오픈 소스 도구입니다. 도구 정의의 경직되고 컴퓨터 전용 언어를 즉시 AI 모델이 실제로 이해할 수 있는 형식으로 변환합니다. 이를 통해 이전에 실패했던 실제 응용 분야에서 작고 저렴한 AI 모델이 효과적으로 작동할 수 있게 되며, 가장 큰 모델들도 더 빠르고 정확하게 만들어 줍니다. 이는 혼란스러운 문제에 대한 간단한 해결책입니다: AI 에게 컴퓨터 코드로 말하지 말고, 일반 텍스트로 말하기 시작하세요.

기술 요약

기술 요약: TSCG – 에이전트 LLM 배포를 위한 결정적 도구 스키마 컴파일

1. 문제 제기

생산 환경 에이전트 프레임워크 (예: OpenAI Function Calling, Anthropic Tool Use, MCP) 는 도구 정의를 JSON 스키마 형태로 대규모 언어 모델 (LLM) 에 전송합니다. JSON 은 결정적 기계 파싱과 인간 가독성을 위해 최적화되어 있지만, 자기회귀 언어 모델의 해석에는 비최적입니다.

이러한 프로토콜 불일치는 소형 모델 (4B–14B 파라미터) 에 '기능 절벽 (capability cliff)'을 초래합니다. JSON 스키마 데이터의 양이 증가함에 따라 도구 호출 정확도가 붕괴되어, 도구가 15 개를 초과하는 카탈로그의 경우 0–49% 로 떨어집니다. 이 문제는 세 가지 주요 비용을 부과합니다:

1. 토큰 비용: 스키마는 순수한 구조적 중복을 도입하여 호출당 3,000–25,000 개의 토큰을 소모합니다.
2. 기능 비용: 소형 모델은 대규모로 JSON 형식 스키마를 신뢰할 수 있게 파싱할 수 없어, 에이전트 기능이 최첨단 API 뒤에 잠기게 됩니다.
3. 확장 비용: 스키마 오버헤드는 카탈로그 크기에 비례하여 선형적으로 증가합니다.

본 논문은 이를 단순한 압축 문제가 아닌, API 경계에서 다른 표현이 필요한 프로토콜 적응 문제로 규정합니다.

2. 방법론: TSCG 프레임워크

저자들은 JSON 스키마를 토큰 효율적인 구조화된 텍스트로 변환하는 결정적 도구 스키마 컴파일러인 **토큰-컨텍스트 시맨틱 문법 (Token-Context Semantic Grammar, TSCG)**을 소개합니다. TSCG 는 모델 접근, 미세 조정, 런타임 검색 없이 작동하며, 사전 토큰화 컴파일러로 기능합니다.

2.1 파이프라인

TSCG 는 5 개 단계로 조직화된 10 개의 결정적 변환의 고정 순서 파이프라인을 적용합니다:

1. 파싱 (Parse): 입력 JSON 의 분할.
2. 압축 (Compression):
   • SDM (의미 밀도 최대화): 채움 토큰 (예의 표시, 유보적 표현, 중복 연결어) 을 제거합니다.
   • TAS (토크나이저 정렬 구문): BPE 경계를 기반으로 토큰 수를 최소화하는 구분자 변형을 선택합니다 (예: → 대신 -> 사용).
   • DRO (구분자 역할 최적화): 장황한 구조적 구문을 간결한 구분자로 대체합니다.
3. 구조 (Structural):
   • CFL (제약 우선 배치): '어텐션 싱크 (attention sink)' 현상을 활용하기 위해 출력 제약을 위치 0 으로 재배치합니다.
   • CFO (인과적 순방향 정렬): 전제 조건이 인과적으로 접근 가능하도록 다단계 작업을 위상학적 순서로 재배열합니다.
4. 취약성 (Fragility):
   • CAS (인과적 접근 점수): 취약성 (중요성 대 접근성) 으로 원자 (atoms) 를 점수화하고, 고취약성 원자를 시작부 (어텐션 싱크) 와 끝부분 (최근성 편향) 에 배치합니다.
   • SAD-F (선택적 앵커 중복): 토큰 예산 내에서 핵심 정보를 강화하기 위해 중요한 원자를 중복합니다.
5. 종료 (Closure):
   • CCP (인과적 종료 원칙): 끝부분에 요약 블록을 추가합니다 (다만, 실증적 결과는 일관된 정확도 향상 없이 오버헤드만 추가함을 보여줍니다).

2.2 이론적 기반

이 연산자들은 인과적 자기회귀 트랜스포머의 세 가지 속성에 기반합니다:

• 인과적 어텐션: 초기 토큰은 후속 토큰에 접근할 수 없으므로, 전제 조건은 의존적 단계에 선행해야 합니다 (CFO).
• 어텐션 싱크: 위치 0 은 불균형적으로 많은 어텐션을 받습니다. 중요한 제약은 그곳에 배치되어야 합니다 (CFL).
• BPE 비단조성: 문자열 길이는 토큰 수와 선형적으로 상관관계가 없습니다. 표면 형태를 학습된 BPE 병합과 정렬되도록 선택할 수 있습니다 (TAS).

이 프레임워크는 잘 형성된 스키마에서 $\ge 51\%$의 토큰 감소를 보장하는 공식적인 압축 상한을 제공합니다.

3. 주요 기여

1. 공식 최적화 프레임워크: 트랜스포머 메커니즘과 연결된 수학적 명세를 가진 8 개 연산자 시스템으로, 토크나이저 인식과 인과적 어텐션 기반을 충족합니다.
2. 메커니즘 분해: 소형 모델의 경우 표현 변경 (JSON 에서 텍스트로) 이 지배적 메커니즘임을 보여주는 '형식 대 압축' 분석이며, 구조적 압축은 최첨단 모델에 혜택을 줍니다.
3. TAB 벤치마크: 12 개 모델 (4B–32B 로컬 + 3 개 최첨단) 과 5 개 시나리오에 걸쳐 약 19,000 개의 API 호출로 구성된 최초의 도구 스키마 압축 벤치마크 (TSCG-Agentic-Bench).
4. 소형 모델 활성화: TSCG 가 소형 모델 (4B–14B) 의 정확도를 거의 0 에서 기능적 수준 (65–90%) 으로 회복시켜 로컬 배포를 가능하게 함을 입증했습니다.
5. 모델별 연산자 행렬: 최첨단 모델 간 세 가지 다른 연산자-반응 프로파일 (연산자 갈구형, 연산자 민감형, 연산자 강건형) 을 식별하여 보편적 구성이 존재하지 않음을 증명했습니다.
6. 확장 특성화: 경량 합성 카탈로그에서 포화 상태에 도달하더라도 무거운 생산용 MCP 스키마에서는 정확도 우위가 지속됨을 보여줍니다.
7. 구현: 1,200 줄의 제로-의존성 TypeScript 패키지로, 밀리초 미만 시간에 실행됩니다.

4. 실험 결과

4.1 소형 모델 회복

TAB 벤치마크에서 TSCG 는 소형 모델의 도구 사용 정확도를 획기적으로 향상시켰습니다:

• Phi-4 (14B): 20 개 도구에서 정확도가 **0%**에서 **84.4%**로 회복되었으며 (50 개 도구에서는 90.3%),
• Mistral 7B 및 Gemma 3 4B: 20–50 개 도구에서 막대한 향상 (+17~+63 백분율 포인트) 을 보였습니다.
• 분해: 이러한 모델의 경우, 향상은 주로 **형식 변환 (JSON 을 구조화된 텍스트로 변환)**에 기인하며 압축보다는 형식 변환이 주도했습니다. 텍스트 기준선과 비교했을 때 '압축'의 이점은 사라지거나 역전되었으며, 이는 컨텍스트 길이가 아닌 JSON 파싱이 병목이었음을 확인시켜 주었습니다.

4.2 최첨단 모델 성능

최첨단 모델 (Claude Sonnet 4, GPT-4o, GPT-5.2) 의 경우, TSCG 는 진정한 구조적 압축 이점을 제공했습니다:

• Claude Sonnet 4: 50.1% 토큰 절감으로 85.2% 정확도 달성 (네이티브 JSON 대비 74.0%).
• GPT-5.2: 시나리오 A 에서 상당한 향상 (+29.7 pp) 을 보였으나, 성능은 연산자 프로파일에 따라 다양했습니다.
• 정확도 유지 비율 (ARR): TSCG 는 BFCL 외부 검증 벤치마크에서 108–181% 의 ARR 값을 달성했습니다.

4.3 연산자 민감도 원형

연산자별 격리 실험은 세 가지 다른 행동 프로파일을 드러냈습니다:

• 연산자 갈구형 (예: Opus 4.7): 모든 연산자에서 혜택을 받으며, 전체 파이프라인이 최적입니다.
• 연산자 민감형 (예: GPT-5.2): 특정 연산자 (예: CFO) 가 성능을 저하시킬 수 있으므로 선택적 구성이 필요합니다.
• 연산자 강건형 (예: Sonnet 4): 대부분의 연산자에 불변이며, 안전한 구성이면 무엇이든 작동합니다.

4.4 확장 및 일반화

• 무거운 스키마: 무거운 생산용 MCP 스키마 (~10,500 입력 토큰) 에서 TSCG 는 +5.0 pp 의 정확도 우위를 유지한 반면, 경량 합성 카탈로그에서의 이득은 75–100 개 도구에서 포화되었습니다.
• 벤치마크 유효성: 합성 TAB 벤치마크는 0.1 정확도 포인트 내에서 실제 세계 MCP 성능을 예측했습니다.

5. 중요성 및 주장

본 논문은 TSCG 가 에이전트 LLM 인프라의 중요하고 해결되지 않은 격차, 즉 모델 소비를 위한 JSON 스키마의 비효율성을 해결한다고 주장합니다.

• 아키텍처 전환: TSCG 는 스키마 압축을 프롬프트 엔지니어링 기법이 아닌 **아키텍처적 선택 (외부 컴파일)**으로 위치시킵니다. 토큰화가 모델 이전에 발생하며 모델이 입력을 사후에 '재구성'할 수 없기 때문에 이는 필수적입니다.
• 배포 가이드: 이 작업은 배포를 위한 데이터 기반 분류를 제공합니다. 소형 모델은 (종종 '보수적' 프로파일을 통해) 형식 변환이 필요하며, 최첨단 모델은 구조적 압축의 혜택을 봅니다.
• 생태계 영향: 저자들은 에이전트 생태계 전반의 효율성을 표준화하기 위해 패키지 레지스트리 (npm/PyPI) 와 유사한 사전 컴파일된 도구 스키마의 커뮤니티 관리 레지스트리 생성을 제안합니다.

본 논문은 TSCG 가 결정적, 제로-의존성 컴파일러를 통해 사생활이 제한된 로컬 하드웨어에서 기능적인 도구 사용 에이전트를 가능하게 하면서 동시에 최첨단 모델의 토큰 사용을 최적화한다고 결론 내립니다.