ONTO: A Token-Efficient Columnar Notation for LLM Input Optimization

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 대규모 운영 데이터 (IoT 센서 데이터, 시스템 로그 등) 를 처리할 때, 기존 직렬화 포맷인 JSON은 비효율적인 토큰 소비를 초래합니다.

• 과도한 구조적 오버헤드: JSON 은 각 레코드마다 필드명 (key) 을 반복하고, 중괄호 {}, 대괄호 [], 따옴표 ", 콜론 : 등의 구조적 구두점을 포함합니다.
• 실제 사례: 1,000 개의 IoT 센서 데이터를 JSON 으로 직렬화할 경우 약 80,000 개의 토큰이 소요되는데, 이 중 실제 의미 있는 데이터 (센서 값) 는 소수에 불과하고 대다수는 반복되는 필드명과 구조적 기호에 할당됩니다.
• 한계: LLM 은 일회성으로 소비되는 프롬프트를 처리하므로, 문서 교환 (Document Interchange) 을 위해 설계된 JSON 의 '자기 설명성 (self-description)'과 '완전성'은 불필요한 비용으로 작용합니다.

2. 방법론: ONTO (Methodology)

저자들은 LLM 입력 최적화를 위한 새로운 컬럼 기반 표기법인 Onto (Object Notation for Token Optimization) 를 제안합니다. 핵심 설계 원칙은 "스키마는 한 번, 데이터는 여러 번 (Schema-once, Data-many)" 입니다.

• 기본 구조:

  • 필드명 단일 선언: 엔티티 (Entity) 당 필드명을 한 번만 선언하고, 이후 모든 레코드의 값은 파이프 기호 (|) 로 구분된 행 (row) 에 나열합니다.
  • 계층 구조 지원: 중괄호 대신 들여쓰기 (Indentation, 4 공백) 를 사용하여 계층적 구조를 표현합니다.
  • 배열 표현: 단일 값 내의 배열 요소는 캐럿 기호 (^) 로 구분합니다.
  • 타입 추론: 파서는 값의 패턴을 통해 정수, 부동소수점, 불리언, 널 (null) 등을 자동으로 추론하며, 백틱 (`) 을 사용하여 문자열 강제로 해석할 수 있습니다.

• 예시:

  Telemetry [3]:
  device_id: sensor-001|sensor-002|sensor-003
  temperature: 23.5|24.1|22.9
  location:
    lat: 37.77|37.78|37.79
    lon: -122.41|-122.42|-122.43
  

  이 예시는 JSON 대비 약 73% 의 토큰 감소를 보여줍니다.

3. 주요 기여 (Key Contributions)

1. 문제 특성화: LLM 입력 직렬화가 문서 교환용 직렬화와 근본적으로 다르며, 다른 최적화 기준이 필요함을 규명했습니다.
2. 포맷 설계: 계층 구조와 가독성을 유지하면서 '스키마 한 번 선언' 방식을 통해 46~51% 의 토큰 감소를 달성하는 Onto 포맷을 제안했습니다.
3. 실증적 검증: 중첩 (nested), 평면 (flat), 혼합 데이터 구조에서 다양한 규모 (100~1,000 개 레코드) 에 걸쳐 안정적인 토큰 감소와 지연 시간 (latency) 개선을 입증했습니다.
4. 절대 분석 (Ablation Analysis): 토큰 절감의 주원인이 '키 (필드명) 제거'임을 확인했으며, 중첩 구조에서의 들여쓰기 오버헤드가 평면 데이터 대비 성능 격차 (약 4%p) 의 원인임을 규명했습니다.
5. 오픈 소스: Python 리퍼런스 파서, 벤치마크 스위트, 합성 데이터셋을 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

세 가지 합성 데이터셋 (IoT Telemetry, System Metrics, Log Entries) 을 대상으로 JSON, YAML 과 비교 실험을 수행했습니다.

• 토큰 효율성:
  • 1,000 개 레코드 기준 JSON 대비 46~51% 토큰 감소를 달성했습니다.
  • 데이터 규모가 커질수록 (100 → 1,000) 감소 비율이 일정하게 유지되거나 소폭 증가하는 선형 스케일링을 보였습니다.
  • YAML 은 JSON 대비 1~6% 만 감소하여, 키 반복 제거가 토큰 절감의 핵심임을 입증했습니다.
• 지연 시간 (Latency):
  • Qwen2.5-7B 모델에서 첫 토큰 생성 시간 (TTFT) 57%, 총 추론 시간 910% 단축 효과를 확인했습니다.
• 이해도 (Comprehension) 검증:
  • GPT-5.4-mini 를 이용한 Lookup, Counting, Extraction, Aggregation 작업에서 JSON 대비 성능 저하가 없었거나 오히려 향상되었습니다.
  • 특히 'Warm prompt'(포맷 설명 포함) 환경에서 Onto 는 JSON 보다 높은 정확도를 보였습니다.
  • 참고: 모든 포맷에서 정밀한 카운팅 (Counting) 작업의 정확도가 낮았으나, 이는 모델의 한계이며 포맷의 문제가 아님이 확인되었습니다.
• 토큰 구성 분석:
  • 절감된 토큰의 약 100% 이상은 필드명 (Key) 제거에서 비롯되었습니다.
  • 중첩 구조의 경우 들여쓰기 (Indentation) 로 인해 약 5,000 개의 추가 토큰이 발생하여 평면 데이터보다 절감율이 약간 낮았습니다.

5. 의의 및 결론 (Significance)

• 새로운 니치 확보: Onto 는 기존 포맷들이 충족하지 못했던 '컬럼 기반 효율성 + 계층 구조 지원 + 인간 가독성 + LLM 프롬프트 직접 사용' 이라는 4 가지 요소를 동시에 만족하는 유일한 포맷입니다.
• 경제적/기술적 가치:
  • API 비용 절감: 입력 토큰이 50% 감소하면 추론 비용의 입력 부분이 반으로 줄어듭니다.
  • 컨텍스트 윈도우 확장: 동일한 토큰 예산으로 더 많은 데이터를 처리할 수 있어 LLM 의 분석 범위가 확장됩니다.
• 적용 범위: 대규모 구조화 데이터를 LLM 프롬프트에 주입하여 분석, 이상 탐지, 루트 원인 분석 등을 수행하는 운영 지능 (Operational Intelligence) 시스템에 최적화되어 있습니다.
• 한계 및 향후 과제: 현재는 메모리 내 전체 문서 로딩 방식이며, 더 깊은 중첩 구조나 다양한 토크나이저에 대한 검증이 필요합니다.

결론적으로, Onto 는 LLM 이 대규모 데이터를 처리할 때 발생하는 비효율적인 토큰 소비 문제를 구조적으로 해결하여, 비용 절감과 성능 향상을 동시에 달성할 수 있는 실용적인 솔루션을 제시합니다.