기술 요약: 소형 언어 모델(SLM)을 위한 자가 치유형 JSON 생성

문제 정의

소형 언어 모델(SLM)은 구조화된 정보 추출, 특히 온디바이스 애플리케이션을 위한 비용 효율적이고 프라이버시를 보호하는 대안을 제공합니다. 그러나 이들의 출력물은 엄격한 JSON 스키마 검증 요구 사항을 충족하지 못하는 경우가 빈번합니다. 이러한 실패는 파싱 불가능한 구문(예: 괄호 누락, 잘못된 따옴표)이나 의미론적 비준수(예: 잘못된 데이터 타입, 필수 필드 누락)로 나타납니다.

제약 조건이 있는 디코딩(그래마에 따라 토큰 생성을 제한하는 방식)은 알려진 해결책이지만, 호스팅된 API나 임베디드 런타임에서는 모델 로짓(logits)에 대한 접근이 불가능한 경우가 많습니다. 또한, 엄격한 생성을 강제하면 모델의 확률 분포를 왜곡하고 작업 성능을 저하시킬 수 있습니다. 따라서 모델의 디코더를 수정하거나 추가 인프라를 요구하지 않으면서 JSON 출력을 복구할 수 있는 사후 생성(post-generation) 접근 방식이 필요합니다.

방법론

본 논문은 생성된 텍스트에 순차적으로 적용되는 3단계의 모델 불가지론적(model-agnostic) "자가 치유(self-healing)" 파이프라인을 제안합니다. 이 프로세스는 추가적인 모델 호출을 최소화하면서 스키마 유효성을 극대화하도록 설계되었습니다.

1계층: 관대한 구문 복구 (L1)

이 계층은 엄격한 JSON 파싱 전, 텍스트 문자열 자체에서 작동합니다. 이는 허용 범위가 넓은 렉서(lexer)와 브래킷 스택 파서(bracket-stack parser)를 사용하여 일반적인 엄격한 JSON 이탈 사례를 처리합니다:

• 래퍼 제거: 마크다운 코드 펜스(```json) 및 도입 문구를 제거합니다.
• 어휘적 유연성: 작은따옴표, 타이포그래피용 따옴표, 주석(//, /* */), 그리고 비표준 리터럴(예: True, None, NaN)을 허용합니다.
• 구조적 복구: 스택 기반 어셈블러를 사용하여 누락된 쉼표를 삽입하고, 불필요하거나 중복된 쉼표를 제거하며, 키 뒤에 닫는 괄호가 오는 경우 null을 공급하고, 잘린 컨테이너를 닫습니다.
• 플래깅(Flagging): 각 수정 사항을 기록하여 구문 오류의 유형을 분류합니다.

2계층: 스키마 가이드 코어션 (L2)

텍스트가 객체로 파싱되면, L2는 새로운 내용을 생성하지 않고 대상 JSON 스키마에 맞게 값을 강제 변환(coerce)하려고 시도합니다. 수행되는 작업은 다음과 같습니다:

• 타입 변환: 숫자 형태의 문자열(통화 기호 포함)을 숫자로, "yes/no"를 불리언(boolean)으로, 정수형 부동 소숫점을 정수로 변환합니다.
• 정규화: 대소문자를 구분하지 않는 열거형(enum) 매칭 및 키 이름 변경(예: orderId를 order_id로)을 수행합니다.
• 구조적 조정: 스칼라 값을 배열로 감싸거나, 쉼표로 구분된 문자열을 분리하며, additionalProperties: false에 의해 금지된 속성을 제거합니다.
• 보수적 파싱: 파싱이 모호하지 않은 경우에만 문자열을 필수 패턴(예: 날짜, 24시간 시간 형식)으로 재작성합니다. 결정적으로, L2는 nullable 속성에 대해 명시적인 null을 추가하는 것 외에는 새로운 정보를 만들어내지 않습니다.

3계층: 검증기 가이드 재프롬프팅 (L3)

객체가 L1 및 L2를 거친 후에도 유효성 검증에 실패하면, 시스템은 재시도를 시작합니다. 검증기의 에러 메시지(필드 경로 및 에러 설명)를 프롬프트에 추가하여 모델이 특정 문제를 수정하도록 요청합니다. 이후 새로운 출력은 다시 L1과 L2를 거쳐 처리됩니다. 이 루프는 재시도 예산($K=2$)까지 계속됩니다.

실험 설정

저자는 네 가지 스키마 제품군(연락처, 주문, 이벤트, 논문)에 걸친 120개의 텍스트-투-JSON 태스크에 대해 이 파이프라인을 평가하였으며, 세 가지 지시어 튜닝된 SLM을 사용했습니다:

• SmolLM2-360M
• Qwen2.5-0.5B
• Qwen2.5-1.5B

"생성된 그대로의 출력"부터 "전체 자가 치유 파이프라인"에 이르기까지, 그리고 검증기 에러의 가치를 격리하기 위한 "블라인드 재샘플링(feedback 없는 재시도)" 베이스라인을 포함한 6가지 실험 조건을 테스트했습니다.

주요 결과

1. 결정론적 복구의 효능

추가적인 모델 호출 없이도 가장 유의미한 이득이 달성되었습니다.

• 원시 유효성(Raw Validity): 원시 응답 중 스키마를 만족하는 비율은 16.7%에 불과했습니다.
• L1 + L2 영향: 구문 복구와 스키마 코어션을 적용했을 때 평균 유효성이 **67.8%**로 상승했습니다.
• 모델별 편차:
  • Qwen2.5-1.5B: L1+L2만으로 99.2%의 유효성을 달s성했으며, 재시도는 미미한 가치만을 더했습니다.
  • Qwen2.5-0.5B: L1 적용 후(주로 코드 펜스 제거를 통해) 유효성이 3.3%(raw)에서 **72.5%**로 뛰었으며, L2를 추가한 후에는 **83.3%**까지 상승했습니다.
  • SmolLM2-360M: L1은 효과가 없었으나(유효성 9.2% 유지), L2가 유효성을 **20.8%**로 높였습니다.

2. 검증기 피드백의 역할 (L3)

• 피드백 vs 블라인드 재시도: 전체 자가 치료 파이프라인(L1+L2+L3)은 태스크당 평균 1.57회의 호출로 **78.1%**의 유효성을 달성했습니다. 이는 블라인드 재샘플링(74.4%, $p=0.060$)과 통계적으로 유사했습니다.
• 모델 특이성: 피드백은 SmolLM2-360M에 매우 효과적이어서 유효성을 32.5%(블라인드 재시도)에서 46.7%($p=0.003$)로 개선했습니다. 반면, Qwen2.5-0.5B의 경우 피드백 후에도 코드 펜스를 계속 사용하는 등 피드백의 효과가 없었습니다.
• 실패 모드: 피드백은 모델이 반복하는 "포맷 습관"(예: 코드 펜스)을 교정하는 데 실패했습니다. 피드백은 의미론적 에러(예: 필수 필드 누락)를 해결하는 데 가장 유용했습니다.

3. 유효성이 곧 정확성을 의미하지는 않는다

중요한 발견은 스키마 유효성이 사실적 정확성을 보장하지 않는다는 점입니다.

• 에러율: 유효한 자가 치서 응답 중 **45.6%**가 적어도 하나의 잘못된 필드를 포함하고 있었습니다.
• 흔한 에러 유형:
  • 빈 자리 표시자(Empty Placeholders): 모델들이 타입 제약을 만족시키기 위해 필수 문자열 필드를 빈 문자열("")로 채웠습니다.
  • 값 조작(Fabricated Values): 모델들이 그럴듯하지만 가짜인 데이터(예: "123-456-7890" 같은 전화번호)를 만들어냈습니다.
  • 기본 열거형(Default Enums): 모델들이 문맥과 상관없이 첫 번째 열거형 값(예: "pending")을 선택했습니다.
• 결론: 완벽한 파이프라인이 있더라도, 소형 모델은 구조적 제약을 만족시키기 위해 내용을 환각(hallucination)하는 경우가 많습니다.

의의 및 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 정밀한 파이프라인: 모델 불가지론적이며 모델 로짓에 대한 접근이 필요 없는 3계층 자가 치ู 파이프라인(L1, L2, L3)을 정의합니다.
2. 결정론적 계층의 절제 연구: 결정론적 복구가 유효성 이득의 대부분을 차지함을 입증하여(83.3%의 복구된 출력은 추가 호출이 필요 없음), 이것이 가장 비용 효율적인 단계임을 보여줍니다.
3. 실패 분류 체계: 두 가지 뚜렷한 실패 양상을 식별했습니다:
   • 포맷 습관: 코드로 수정하기 쉬운 사소한 문제(예: 코드 펜스).
   • 스키마 오해: 수정하기 어려운 문제(예: 스키마 구조 복사, 잘못된 타입)로, 종종 의미론적 개입이 필요함.
4. 유효성 vs 정확성 구분: 검증기 피드백이 "유효하지만 틀린" 출력을 초래할 수 있다는 증거를 제시합니다. 저자는 소형 모델이 정확한 정보를 추출하는 것보다 검증기를 통과하는 것을 우선시할 수 있으므로, 구조화된 출력 평가 시 스키마 유효성과 함께 필드 수준의 정확도를 측정해야 한다고 주장합니다.

실무 권장 사항

연구 결과에 근거하여 저자는 다음과 같이 제안합니다:

• 항상 결정론적 복구와 코어션을 먼저 적용하십시오. 이는 비용이 들지 않으며 대부분의 문제를 해결합니다.
• 검증기 피드백은 남은 에러가 의미론적일 때만 사용하십시오. 확률적 에러의 경우 블라인드 재샘플링이 동일하게 효과적입니다.
• 스키마 유효성과 함께 콘텐츠 검증(예: 필수 필드에 대한 빈 문자열 거부)을 구현하십시오.
• 복잡한 의미론적 변환의 필요성을 최소화하기 위해, 소스 텍스트의 표면 구조를 반영하는 스키마를 설계하십시오.