기술 요약: 포맷 민감도 지수 및 토큰 제어 프롬프트 래퍼(Wrapper)

문제 정의

대규모 언어 모델(LLM) 벤치마크는 모델 출력을 구조화하기 위해 구분자(delimiters), JSON 지침 또는 단계별 포맷팅을 포함하는 프롬프트 래퍼(템플릿)에 점점 더 의존하고 있다. 이러한 래퍼들은 의미론적으로는 무관하도록 의도되었으나, 연구 논문, 툴킷 또는 벤더 간에 표준화되지 않은 경우가 많다. 이러한 표준화의 부재는 방법론적 실패 모드를 생성한다. 즉, 모델의 보고된 성능이 근본적인 능력보다는 오로지 선택된 래퍼에 따라 크게 변동될 수 있다는 점이다.

핵의 문제는 많은 벤치마크 파이프라인이 모델당 작업별로 단일 정확도 점수만을 보고하며, 실세계 배포에서 지배적인 구조화된 출력 실패 모드(예: 스키마 준수, 도구 호출)를 무시한다는 것이다. 모델이 벤치마크 추출기(예: 마크다운 코드 펜스 또는 누락된 JSON 키 때문)에 따라 출력을 파싱하는 데 실패할 경우, 해당 실행은 오답으로 처리된다. 이러한 "준수 문제(compliance problem)"는 모델이 엄격한 JSON 래퍼 하에서는 거의 무작위에 가까운 성능을 보이는 반면, 구분자 기반 래퍼 하에서는 높은 성능을 보이게 함으로써 잠재적으로 리더보드의 결론을 뒤바꿀 수 있다.

방법론

저자들은 래퍼 포맷팅으로 인한 분산을 격리하기 위해 프롬프트 길이와 토큰 수 차이를 제어하는 토큰 제어 프로토콜을 제안한다.

실험 설정

• 모델: OpenRouter를 통해 접근 가능한 7B에서 72B 파라미터 범위의 네 가지 인스트럭트 튜닝 모델: Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4, Qwen-2.5-72B-Instruct.
• 태스크: 널리 사용되는 7가지 QA 스타일 벤치마크 (BoolQ, PIQA, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K)와 각 태스크당 200개의 예시 샘플링.
• 래퍼 패밀리: 평가된 다섯 가지의 뚜렷한 래퍼 유형:
  1. Plain: 최소한의 지침.
  2. JSON: answer 필드가 포함된 엄격한 JSON.
  3. Structured: 키-값(key-value) 필드.
  4. Structured Delim: 명시적 구분자 토큰(<BEGIN ANSWER>)이 포함된 키-값 필드.
  5. Deliberate: 최종 답변 필드에 앞선 추론을 위한 스크래치패드(scratchpad).
• 토큰 제어: 프롬프트 길이 차이라는 혼란 변수를 완화하기 위해, 프롬프트는 태스크당 고정된 문자 예산에 맞춰 패딩되었다. 실제 구현된 토큰 수는 기록되었으며, 상대적 토큰 확산 지표($\Delta_{tok}$)가 계산되었다. 결과는 전체 데이터셋과 $\Delta_{tok} \le 5\%$인 매칭된 서브셋 모두에 대해 보고되었다.
• 생성: 총 140,000개의 생성물이 생산되었다 (4개 모델 $\times$ 7개 태스크 $\times$ 5개 래퍼 $\times$ 200개 예시 $\times$ 5개 시드).

지표

저자들은 두 가지 주요 민감도 지표를 도입한다:

1. 포맷 민감도 지수 (Format Sensitivity Index, FSI): 주어진 모델과 태스크에 대해 래퍼 선택으로 인해 유도된 정확도의 범위 ($FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$).
2. 파싱 가능성 민감도 지수 (Parseability Sensitivity Index, PSI): 그에 상응하는 답변 파싱 가능성의 범위 ($PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$).

범위 통계의 노이즈 민감도를 해결하기 위해, 저자들은 **정규화된 FSI (nFSI)**와 부트스트랩 신뢰 구간도 함께 보고한다.

주요 결과

1. 모델 간 극심한 편차

포맷 민감도는 모델에 따라 급격히 달라진다.

• Qwen-2.5-72B는 평균 FSI 0.024 (95% CI [0.014, 0.035])를 기록하며 거의 포맷 불변성을 보였다.
• Phi-4는 높은 민감도를 보였으며, 평균 FSI는 0.763 (95% CI [0.607, 0.872])이었다.
• 테스트된 모델들 사이에서 평균 FSI는 30배 이상 차이가 났다.
• 정규화된 민감도(nFSI)는 이러한 대조를 더욱 강조했으며, Phi-4는 nFSI 2.37을 기록하여 래퍼 선택이 평균 점수를 지배할 수 있음을 나타냈다.

2. 주요 동인으로서의 파싱 가능성

정확도와 파싱 가능성은 강하게 상관되어 있다 ($r = 0.825$). 고정 효과 회귀 분석 ($A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$) 결과, 파싱 가능성은 정확도의 강력한 예측 변수였으며 ($\hat{\beta} = 0.819$), 잔차 분산의 상당 부분을 설명했다 ($R^2 = 0.82$).

• 사례 연구: 엄격한 JSON 래퍼 하에서, Phi-4는 생성물의 85.3%에서 마크다운 코드 펜스를 생성하여 파싱 가능성 2.8%, 정확도 0.7%를 기록했다.
• 이는 많은 래퍼 유도형 점수 변화가 추론 능력의 부족보다는 출력이 기계가 소비 가능한지(파싱 가능한지) 여부에 의해 발생함을 시사한다.

3. 래퍼 성능 분포

보편적으로 최적이라고 할 수 있는 단일 래퍼는 없다. 구분자 기반의 구조화된 래퍼가 가장 빈번하게 승리했지만 (28개 모델-태스크 조합 중 12개), "deliberate" 및 "structured" 래퍼 또한 유의미하게 승리했다. 이는 단일 "최적" 포맷을 선택하기보다 래퍼에 대한 점수의 분포를 보고해야 한다는 주장을 뒷받침한다.

4. 토큰 제어 안정성

토큰 패딩 프로토콜은 토큰 확산을 완전히 제거하지는 못했으나 성공적으로 감소시켰다. 중앙값 상대적 토큰 확산은 4.1%였다. 결정적으로, 낮은 토کن 확산($\Delta_{tok} \le 5\%$)에 대해 필터링했을 때도 결론은 안정적으로 유지되었으며, 평균 FSI는 0.391에서 0.394로 거의 변하지 않았다.

의의 및 권장 사항

본 논문은 래퍼의 분산과 준수를 고려하지 않고 정확도를 보고하는 것은 통계적으로 취약하다고 주장한다. 저자들은 다음과 같은 권장 사항을 제공한다:

• 벤치마킹을 위해: 논문과 리더보드는 다음을 보고해야 한다:
  1. 사용된 특정 래퍼 패밀리.
  2. 프롬프트 토큰 수.
  3. 파싱 가능성 비율.
  4. 불확실성을 고려한 민감도 지표(예: 신뢰 구간을 포함한 FSI) 또는 정확도 구간 $[\min_f A, \max_f A]$.
• 구조화된 출력 배포를 위해: 프롬프팅만으로는 엄격한 스키마를 보장하기에 충분하지 않은 경우가 많다. 다운스트림 소비자(consumer)가 취약할 경우, 파싱 가능성 붕괴가 측정된 정확도를 지배할 수 있다. 저자들은 FSI와 PSI를 진단 도구로 사용하여 디코더 타임 제약(예: 그래머, 스키마 제약 디코딩 또는 벤더의 구조화된 출력 모드)이 필요한 시점을 결정할 것을 제안한다.

한계점

저자들은 몇 가지 한계를 인정한다:

• FSI는 범위 통계량으로서 이상치에 취약하지만, 부트스트래핑을 통해 이를 완화하였다.
• 토큰 제어는 엄격한 토큰 동일화가 아닌 문자 패딩을 통해 이루어졌다.
• 모델 세트가 작고 규모가 섞여 있어, 견고성이 아키텍처뿐만 아니라 모델 크기를 반영할 수 있다.
• 본 연구는 단일 턴 QA에 집중되어 있으며, 멀티 턴 도구 사용 및 코드 생성은 다른 역학을 보일 수 있다.
• 파서의 엄격함이 다양하다. 본 연구는 엄격한 추출과 정규화된 추출을 보고하지만, 디코딩 타임 강제 모드를 직접 벤치마킹하지는 않았다.

결론적으로, 본 논문은 신뢰할 수 있는 벤치마킹과 구조화된 출력 시스템을 위해서는 프롬프트 래퍼를 중요한, 그러나 과소 보고된 혼란 변수로 취급하고, 포맷 민감도를 측정하고 줄이는 과정이 필요하다고 주장한다.