Testing JSON Schema Instruction Artifacts: Distributional Robustness under Validation-Equivalent Serialization and JSON Mode

기술 요약: JSON 스키마 지시문 아티팩트 테스트

문제 정의
언어 모델(LM) 소프트웨어에서 JSON 스키마는 두 가지 역할을 수행한다: 하나는 전통적인 소프트웨어를 위한 기계 판독 가능한 검증 계약(validation contract)이며, 다른 하나는 LM을 위한 직렬화된 지시문 아티팩트(instruction artifact)이다. JSON 및 JSON 스키마 명세는 객체를 순서가 없는 컬렉션으로 정의하며 멤버의 순서가 검증에 영향을 미치지 않지만, 소프트웨어 도구(직렬화기, 코드 생성기, 스키마 레지스트리 등)는 검증 계약을 변경하지 않고도 스키마 멤버를 재정렬하는 경우가 빈번하다. 이는 유지보수상의 위험을 초래한다. 즉, "검증적으로 동등한(validator-equivalent)" 스키마 변경이 의도치 않게 LM의 출력 분포를 변화시킬 수 있다는 것이다. 기존 벤치마크는 파싱 가능성이나 스키마 유효성에 초점을 맞추고 있지만, 분포적 불변성(distributional invariance)—즉, 두 개의 의미론적으로 동등한 스키마 직렬화가 확률적 노이즈를 넘어 동일한 출력 분포를 유도하는지 여부—를 테스트하는 데는 실패하고 있다.

연구 방법론
본 연구는 JSON 및 JSON 스키마의 의미론에서 파생된 변형 테스팅(metamorphic testing) 프레임워크를 채택한다. 핵심 가설은 만약 두 스키마 직렬화가 검증 측면에서 동등하다면, 반복 호출에 따른 가변성을 고려하더라도 LM의 정규화된 출력 분포는 불변해야 한다는 것이다.

• 실험 설계: 연구진은 태스크, 프롬프트, 시스템 지시문, 그리고 검증 계약은 고정하되 직렬화된 스키마만 변경하는 변형 관계(metamorphic relation)를 구축하였다.
• 변환(Transformations): 다섯 가지 재귀적 직렬화 변환을 테스트하였다:
  1. Original: 원본 직렬화.
  2. Properties reversed: properties 객체 내부의 항목들을 역순으로 배치.
  3. Required reversed: 고유한 required 배열을 역순으로 배치.
  4. Keywords reversed: 스키마 객체의 모든 멤버(중첩된 속성 포함)를 역순으로 배치.
  5. Descriptions first: description 필드를 첫 번째 위치로 이동.
• 분해(Decomposition): 200개의 레코드로 구성된 분리된 패널을 통해 두 가지 특정 대조군을 격리하였다: (1) 속성 순서 효과(Original vs. Properties Reversed)와 (2) 추가 멤버 순서 효과(Properties Reversed vs. Keywords Reversed, 후자의 경우 재귀적 속성 순서는 고정).
• 시스템: 연구는 Sonnet 및 GPT 게이트웨이 에일리어스, 공식 DeepSeek (deepseek-v4-flash), 그리고 공식 Qwen-Plus (qwen-plus)의 텍스트 및 JSON 모드 인터페이스를 통해 17,900개의 성공적인 응답을 평가하였다.
• 지표:
  • 정규화된 초과 불일치(Normalized Excess Disagreement): 반복 호출 내 가변성에 대비하여 교차 조건 간의 불일치를 비교하는 노이즈 조정 통계량이다. 이는 이산 출력 분포 간의 제곱 $L_2$ 거리를 추정한다.
  • 실용적 스크린(Practical Screen): 실질적인 유의성을 결정하기 위해 사전에 지정된 임계값 0.05(5% 초과 불일치)이다.
  • 품질 지표: 스키마 통과율, 리프 값(leaf-value) 정확도, 토큰 F1 점수.
• 추론: 신뢰 구간은 5,000개의 레코드 클러스터 부트스트랩 재표본 추출을 통해 도출되었으며, 다중 비교를 위해 Holm 보정이 적용되었다.

주요 결과

• 분포적 불안정성 (RQ1 & RQ2): 검증적으로 동등한 재정렬이 반복 호출 가변성을 넘어 출력 분포를 변화시킨다.
  • Sonnet Gateway: 속성 순서(0.058)와 추가 멤버 순서(0.077) 효과 모두 0.05 실용적 스크린을 초과하였다.
  • Qwen-Plus (Text): 두 효과 모두 상당하였으며(0.126 및 0.123), 스크린을 초과하였다.
  • GPT Gateway & DeepSeek: 효과가 감지되었으나(신뢰 구간의 양의 하한값 존재), 0.05 실용적 스크린 미만이었다(GPT의 경우 0.033/0.038, DeepSeek의 경우 0.013/0.018).
• 품질에 미치는 영향 (RQ3): 분포의 변화가 평균적인 태스크 품질의 보편적인 저하를 의미하지는 않았다. 모든 시스템에서 스키마 통과율은 98% 이상으로 높게 유지되었다. 리프 값 정확도의 변화는 일반적으로 0에 가까웠으나, GPT의 추가 멤버 대조군에서 나타난 -0.025라는 예외가 있었으나 이는 다른 시스템에서는 재현되지 않았다.
• 인터페이스 경계 (RQ4): Qwen-Plus의 경우, JSON 모드(response_format={"type":"json_object"})를 활성화하더라도 스키마 직렬화 순서에 대한 민감도가 실질적으로 완화되지 않았다. 상호작용 효과는 통계적으로 유의미하지 않았으며, JSON 모드에서도 순서 효과의 크기는 높게 유지되었다.
• 이질성 (RQ5): 평균 효과는 균일한 변화가 아니라 소수의 "취약한(vulnerable)" 레코드(상위 10%)에 의해 주도된다. 취약한 레코드 프로필은 매칭된 Qwen 인터페이스(Text vs. JSON Mode) 간에는 안정적이지만, 서로 다른 시스템 간(예: Sonnet vs. GPT)에는 신뢰성 있게 전이되지 않는다.

의의 및 주장
본 논문은 검증 equivalence(동등성)가 LM 대상 스키마 아티팩트에 대해 불충분한 회귀 오라클(regression oracle)이라고 주장한다. 본 연구는 JSON 스키마 검증이라는 추상화 계층이 생성 계층에서의 행동적 교환 가능성을 보장하지 못함을 입증한다.

• 실무적 시사점: 스키마를 지시문 아티팩트로 취급하는 소프트웨어 팀은 구문 및 태스크 정확성과는 별도로 분포적 강건성을 테스트해야 한다. 검증 계약을 보존하는 리팩토링이라 할지라도 생성적 컴포넌트에서 회귀를 유발할 수 있다.
• 기여:
  1. 변형 관계(Metamorphic Relation): 검증 동등성에 기반한 LM 대상 스키마 아티팩트를 위한 공식적 테스트.
  2. 추정기(Estimator): 클러스터 추론을 갖춘 확률성 조정 초과 불일치 추정기.
  3. 워크플로우: 오프라인으로 감사 가능한 테스트 워크플로우와 빌드 파이프라인에서 직렬화의 자유도를 제거하기 위한 보수적인 정규화 도구(객체 키와 고유 required 배열을 정렬함).
  4. 경험적 증거: 다양한 배포 환경에서의 긍정적 및 부정적 실용적 재현 사례를 문서화함으로써, 모델 민감도에 대한 보편적 주장을 반박하는 동시에 배포에 따른 위험을 확인하였다.

저자는 내부 어텐션 메커니즘을 추론하거나, 보편적인 정확도 저하를 주장하거나, 엄격한 제약 디코딩(constrained decoding)을 평가하는 것이 아님을 명시적으로 밝힌다. 연구 결과는 테스트된 특정 배포 인터페이스와 날짜에 국한되며, 이는 "검증 동등성만으로는 충분한 행동적 오라클이 될 수 없다"는 증거로서 기능한다.