이 논문은 클라우드 기반 대형 언어 모델 (LLM) 서비스 제공업체가 '토큰 단위 과금 (Pay-Per-Token)' 모델을 악용하여 사용자에게 더 많은 토큰을 청구하는 토큰 부정 보고 (Token Misreporting) 문제를 해결하기 위한 감사 (Auditing) 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 비대칭 정보와 도덕적 해이: LLM 서비스 제공업체는 모델이 생성한 토큰 시퀀스를 완전히 관찰할 수 있지만, 사용자는 제공업체가 공유한 결과물과 청구된 토큰 수만 볼 수 있습니다. 이로 인해 제공업체는 정보 비대칭을 이용해 실제 생성된 토큰 수보다 많은 토큰으로 보고하여 이윤을 극대화할 유인이 생깁니다 (도덕적 해이).
• 토큰화의 비유일성: 동일한 문자열이라도 토큰화 (Tokenization) 방식에 따라 토큰 수가 달라질 수 있습니다. 예를 들어, "Morocco"라는 단어를 1 개의 토큰으로 처리할 수도 있고, "Mor", "oc", "co"처럼 여러 개의 토큰으로 분할하여 보고할 수도 있습니다. 제공업체는 이를 악용하여 사용자에게 더 많은 토큰을 청구할 수 있습니다.
• 현재의 한계: 기존 연구들은 모델의 치환 (substitution) 이나 숨겨진 추론 단계의 토큰 수를 감시하는 데 초점을 맞추었으나, 출력 결과물의 토큰화 자체를 조작하는 행위는 최근까지 제대로 연구되지 않았습니다.

2. 방법론 (Methodology)

저자들은 이 문제를 **순차적 가설 검정 (Sequential Hypothesis Test)**으로 모델링하고, 마팅게일 (Martingale) 이론을 기반으로 한 감사 프레임워크를 개발했습니다.

• 가설 설정:
  • 귀무가설 ($H_0$): 제공업체는 정직하게 토큰을 보고함 (부정 보고 강도 $I(\pi) = 0$).
  • 대립가설 ($H_1$): 제공업체는 토큰을 부정하게 보고함 ($I(\pi) > 0$).
• 핵심 구성 요소:
  1. 평균 토큰 길이 추정기 (Unbiased Estimator): 감사자는 모델의 다음 토큰 확률 분포 (Next-token probability) 에 접근할 수 있다고 가정합니다. 감사자는 특정 문자열 $s$를 생성하는 데 모델이 평균적으로 몇 개의 토큰을 사용하는지 편향되지 않은 (unbiased) 추정기를 개발했습니다. 이는 모델의 생성 과정을 수정하여 (마스크된 다음 토큰 확률 사용) 특정 문자열만 생성되도록 하고, 이를 통해 평균 길이를 몬테카를로 방식으로 추정합니다.
  2. 순차 통계 검정 (Sequential Statistical Test via Martingales):
     • 감사자가 제공업체에 질의할 때마다, 제공업체가 보고한 토큰 길이와 추정된 평균 길이의 차이 ($E_i$) 를 계산합니다.
     • 이 증거를 누적하여 마팅게일 프로세스 $M_i$를 구성합니다.
     • $M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$ 형태로 업데이트되며, $\lambda_i$는 가중치입니다.
     • 누적된 증거가 임계값 ($1/\alpha$) 을 초과하면 제공업체를 부정하다고 판단합니다.

3. 주요 기여 (Key Contributions)

• 이론적 보장:
  • 거짓 양성 통제: 제공업체가 정직할 경우, 마팅게일 성질과 Ville 부등식을 통해 거짓으로 부정하다고 판단할 확률 (False Positive Rate) 을 사전에 설정한 임계값 $\alpha$ 이하로 보장합니다.
  • 검출 보장: 제공업체가 부정할 경우 (부정 강도 $I(\pi) > 0$), 제공업체의 보고 정책이 무엇이든 상관없이 유한한 시간 내에 반드시 부정 행위를 검출할 수 있음을 증명했습니다.
• 새로운 추정기 개발: 주어진 문자열을 인코딩하는 데 사용되는 토큰 시퀀스의 평균 길이를 계산하는 효율적이고 편향되지 않은 추정기를 제안했습니다. 이는 통계적 검정의 핵심 도구로 독립적인 가치가 있습니다.
• 실증적 검증: Llama, Gemma, Ministral 계열의 다양한 LLM 과 LMSYS Chatbot Arena 데이터셋을 사용하여 실험을 수행했습니다.

4. 실험 결과 (Results)

• 정직한 제공업체: 정직한 제공업체를 대상으로 한 실험에서, 테스트 프로세스 $M$은 초기값 1 근처에 머무르며 임계값을 초과하지 않았습니다. 이는 $\alpha = 0.05$의 거짓 양성 확률 한계를 잘 준수함을 보여줍니다.
• 부정하는 제공업체:
  • 무작위 (Random) 및 휴리스틱 (Heuristic) 기반의 부정 보고 정책을 시뮬레이션했습니다.
  • 부정 강도 (Misreporting Intensity, $I(\pi)$) 가 높을수록 검출 속도가 빨라졌습니다.
  • 핵심 결과: 부정하는 제공업체를 탐지하는 데 평균적으로 **약 70 개 미만의 보고된 출력 (약 70 번의 질의)**만으로도 충분했습니다.
  • 부정 강도가 클수록 검출에 필요한 질의 횟수가 급격히 감소하는 경향을 보였습니다.

5. 의의 및 시사점 (Significance)

• 시장 신뢰도 제고: LLM-as-a-Service 시장의 급성장 속에서 '토큰 단위 과금' 모델의 구조적 결함을 해결하여, 사용자와 제공업체 간의 신뢰를 회복하는 데 기여합니다.
• 규제 및 감사 도구: EU AI Act 등 규제 프레임워크에서 요구하는 제 3 자 감사 (Third-party Auditing) 에 실질적인 도구를 제공합니다. 특히 감사자가 모델의 내부 확률 분포에 접근할 수 있는 환경 (샌드박스 또는 규제적 접근) 에서 강력한 이론적 보장을 제공합니다.
• 기술적 확장성: 이 프레임워크는 오프라인 청구 데이터를 활용하여 과거의 부정 행위도 추적할 수 있으며, 모델의 양자화 (Quantization) 등 근사적인 접근이 있더라도 견고한 (Robust) 성능을 보였습니다.

요약하자면, 이 논문은 수학적 엄밀성 (마팅게일 이론) 과 실용적 실험을 결합하여, LLM 서비스 제공업체의 토큰 과다 청구 행위를 빠르고 정확하게 적발할 수 있는 최초의 감사 프레임워크를 제시했습니다.