기술 요약: 당신의 프롬프트가 유일한 프롬프트는 아니다

문제 정의

프로덕션 LLM 애플리케이션에서 구조화된 출력(사전 정의된 JSON 스키마 채우기)은 데이터 라벨링 및 정보 추출의 표준이 되었습니다. 이 패러다임은 두 번째 지시 채널인 '스키마 속성 설명(schema property descriptions)'을 도입합니다. 실무자들은 카테고리 정의나 행동 제약 조건과 같은 핵심 작업 내용이 시스템/사용자 프롬프트에 위치해야 하는지, 아니면 스키마의 설명 필드에 위치해야 하는지에 대해 반복되는 모호함에 직면해 있습니다. 벤더의 API 예시들은 종 때로 스키마 설명에 조건부 로직과 가이드를 포함시키기도 하지만, 일반적인 관행과 경험적 보고에 따르면 이러한 필드들은 종종 불활성 메타데이터로 취급되거나 프롬프트 기반 지침에 비해 효과가 낮은 것으로 나타납니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 지침의 배치(프롬프트 vs 스키마)가 모델의 행동에 어떤 영향을 미치는가, 그리고 스키마 설명은 능동적인 지침 채널로서 기능하는가 아니면 수동적인 포맷팅 메타데이터로서 기능하는가?

방법론

저자는 claim_order 분류 체계를 기반으로 한 단일 필드 분류 작업을 사용하여 통제된 연구를 수행했습니다. 사전 학습된 라벨 연관성으로부터 지침 배치 효과를 격리하기 위해, 연구에서는 의미론적 카테고리 이름 대신 논스(nonce) 카테고리 라벨(예: "tomil", "varek")을 사용했습니다.

• 데이터셋: 수동으로 검증된 그라운드 트루스(ground truth)를 포함한 48개의 항목(카테고리당 12개)으로 구성된 평가 세트.
• 모델: OpenAI와 Anthropic의 두 벤더에 걸친 10가지 구성(GPT-4.1, GPT-5.4, GPT-5.5, Claude Haiku 4.5, Claude Sonnet 4.6, Claude Opus 4.8 포함) 및 다양한 추론 설정(없음/중간).
• 실험 조건:
  1. 배치 변형: 동일한 정의 텍스트를 시스템 프롬프트, 사용자 프롬프트, 스키마 설명 필드 간에 이동시켰습니다.
  2. 충돌 프로브(Conflict Probe): 시스템 프롬프트에는 올바른 정의가 포함되어 있으나 스키마 설명에는 의도적으로 순서가 뒤섞인(잘못된) 정의가 포함된 조건을 설정하여, 스키마 지침이 프롬프트 지침을 덮어쓸 수 있는지 테스트했습니다.
  3. 스키마 구조 개입: 최종 라벨 필드 이전에 중간 자유 텍스트 추론 필드를 요구하는 증강된 스키마 조건을 설정하여, 스키마 구조 자체가 지침 실행에 영향을 미치는지 테스트했습니다.
• 지표: 항목 순서를 재배열한 5회 반복 실행의 평균 정확도. 불확형성은 반복 표준 오차(SE) 및 이항 SE를 사용하여 정량화했습니다.

주요 기여

1. 통제된 지침 배치 연구: 정의 텍스트를 프롬프트와 스키마 사이로 이동시키는 것이 다양한 모델 구성에서 분류 정확도에 미치는 영향을 직접 측정한 최초의 연구입니다.
2. 스키마 권위의 충돌 기반 측정: 스키마 설명이 수동적인 메타데이터가 아님을 입증했습니다. 특정 모델의 경우, 잘못된 스키마 지침이 올바른 프롬프트 지침을 무시하고 덮어써서 상당한 정확도 저하를 일으킬 수 있음을 보여주었습니다.
3. 모델 의존적 스키마 의존성: 스키마 지침에 부여되는 "가중치"가 모델별 고유 속성임을 확립했습니다. 일부 모델(예: GPT-4.1, 추론 기능이 없는 GPT-5.4)은 시스템 프롬프트에 크게 의존하는 반면, 다른 모델(예: Claude Haiku 4.5, GPT-5.5)은 스키마 콘텐츠에 매우 민감합니다.
4. 스키마 구조 개입: 스키마 내에 필수적인 중간 추론 필드를 추가하는 것이 스키마 설명을 잘 활용하지 못하는 모델들의 성능을 실질적으로 향상시킬 수 있음을 보여주었으며, 이는 일부 경우 네이티브 추론 모드의 이득을 상회했습니다.

결과

지침 배치 효과

• 지침 채널로서의 스키마: 스키마 설명을 통해 정의를 제공하는 것은 labels_only(정의 없음) 대조군보다 정확도를 실질적으로 향상시켰으며, 이는 모델이 스키마에 내장된 지침을 활용함을 확인시켜 줍니다.
• 배치 변이:
  • GPT-4.1 및 GPT-5.4 (추론 없음): 정의가 스키마에 있을 때보다 시스템 프롬프트에 있을 때 성능이 유의미하게 높았습니다(11~13 퍼센트 포인트 높음).
  • Claude Haiku 4.5: 배치와 상관없이 상대적으로 낮은 성능(5253%)을 보이며 유사한 수준을 유지했습니다.
  • 고성능 모델 (GPT-5.5, Claude Opus 4.8): 스키마 전용 및 시스템 프롬프트 전용 조건 모두에서 천장 성능(100%)을 달성했습니다.

충돌 프로브

스키마 정의가 시스템 프롬프트 정의와 충돌할 때:

• 높은 민감도: Claude Haiku 4.5의 정확도는 52.5%에서 7.1%로 급락(-45.4 포인트)했으며, 이는 스키마 지침이 프롬프트를 완전히 압도했음을 나타냅니다. GPT-5.5는 100%에서 73.3%로 하락(-26.7 포인트)했습니다.
• 낮은 민감도: GPT-4.1 및 GPT-5.4 (추론 없음)는 최소한의 저하(<3 포인트)를 보였으며, 이는 시스템 프롬프트를 충돌하는 스키마 데이터보다 우선시함을 시사합니다.
• 시사점: 스키마 설명은 지침 계층 구조에서 고정된 위치를 갖지 않으며, 그 영향력은 모델에 따라 극적으로 달라집니다.

스키마 구조 개입

라벨 필드 전에 필수적인 중간 추론 필드를 추가하는 것은 성능 향상 여력이 있는 모델들에게 유의미한 이득을 주었습니다:

• GPT-4.1: +20.8 포인트 (77.1% → 97.9%).
• GPT-5.4 (추론 없음): +20.0 포인트 (80.0% → 100.0%).
• Claude Haiku 4.5: +23.8 포인트 (53.8% → 77.5%).
• Claude Sonnet 4.6: 추론 설정에 따라 +14.6 ~ +17.5 포인트.
• 관찰: 이러한 구조적 변화는 네이티브 "추론" 모드가 유사한 이득을 생성하지 못한 모델에서도 성능을 개선했으며, 이는 스키마 아키텍처가 프롬프트 기반 추론과 다르게 모델 계산을 조직함을 시사합니다.

의의 및 주장

본 논문은 "행동 지침"(프롬프트)과 "포맷팅 제약 사항"(스키마)을 분리하는 일반적인 추상화가 불완전하다고 주장합니다. 저자는 스키마의 역할을 명확히 하며, 스키마가 불활성 메타데이터도, 범용적으로 시스템 프롬프트와 동등한 것도 아님을 단언합니다. 대신, 스키마 지침의 가중치는 모델별 고유 속성이며 경험적으로 측정되어야 합니다.

실무적 시사점:

1. 통합 지침 표면: 프롬프트와 스키마는 하나의 통합된 지침 표면으로 취급되어야 합니다. 가장 큰 위험은 스키마 설명이 무시되는 것이 아니라, 올바른 프롬프트를 조용히 덮어쓰는 것입니다. 드리프트(drift)를 방지하기 위해 정의는 "단일 진실 공급원(single source of truth)"으로 유지되어야 합니다.
2. 가정에 대한 경험적 검증: 지침 배치는 고정된 규칙이 아닙니다. 개발자는 프롬프트 최적화에 투자하기 전에 타겟 모델의 지침 계층 구조를 결정하기 위해 경량 진단(클린 조건 vs 충돌 조건)을 실행해야 합니다.
3. 레버로서의 스키마 엔지니어링: 스키마의 출력 필드(예: 중간 추론 단계 추가)를 엔지니어링하는 것은 단순히 프롬프트 배치를 최적화하는 것보다 성능을 향적으로 높이는 데 더 효과적인 레버가 될 수 있으며, 특히 스키마 설명을 잘 활용하지 못하는 모델의 경우 더욱 그러합니다.

연구는 신뢰할 수 있는 구조화된 출력 시스템을 구축하려면 특정 모델이 가용한 지침 채널을 어떻게 활용하는지 이해하고, 그에 따라 전체 지침 인터페이스를 설계해야 하며, 정적인 베스트 프랙티스에만 의존해서는 안 된다고 결론짓습니다.