Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

기술 요약: 프로그램을 위한 픽셀인가? 소스 코드를 텍스트와 이미지로 처리할 때의 입력 토큰 계상에 관한 교차 제공자 사례 연구

문제 정의
긴 소스 코드 컨텍스트는 언어 모델의 토큰 제한을 초과하는 경우가 많으며, 이는 비전-언어 모델(VLM)을 위해 코드를 이미지로 렌더링하려는 제안을 촉발했습니다. 최근 연구들이 이러한 변환 후에도 모델이 코드 작업을 수행할 수 있는지 조사하고 있지만, 중요한 시스템적 질문은 여전히 해결되지 않은 상태입니다. 구체적으로, 코드가 가공되지 않은 텍스트로 전송될 때와 압축된 렌더링 이미지로 전송될 때 입력 토큰 계상이 어떻게 변하는지, 이 관계가 소스 길이에 따라 어떻게 확장되는지, 그리고 "시각적 압축(visual compression)"이 서로 다른 제공자와 모델 별칭(alias) 사이에서 보고된 토큰 수의 순감소를 제공하는지는 불분명합니다.

방법론
본 연구는 Anthropic, OpenAI, Google Vertex AI라는 세 가지 주요 제공자를 대상으로 입력 토큰 계상을 비교하기 위해 재현 가능한 블랙박스 측정 프로토콜을 채택합니다.

• 코퍼스(Corpus): 데이터셋은 유명한 오픈 소스 프로젝트의 다섯 가지 버전 고정 소스 파일(Python, JavaScript, Rust, Go, Java)로 구성됩니다. 이 파일들은 20행에서 2,000행까지 9개의 중첩된 접두사(prefix)로 슬라이싱됩니다.
• 처치(Compact Image): 이미지 실험군은 2단계 변환을 적용합니다:
  1. 들여쓰기 압축: 앞부분의 공백을 압축된 마커(예: 4칸 들여쓰기에 대한 > 또는 불규칙한 연속에 대한 ^N)로 대체합니다.
  2. 렌더링: 변환된 텍스트를 PNG 페이지로 렌더링합니다.
• 실험 설계: 소스 크기와 언어별로 15개의 사용 가능한 모델 별칭(Anthropic 4개, OpenAI 6개, Gemini 5개)에 대해 쌍을 이룬 요청을 보냅니다. 두 실험군 모두 동일한 한 문장 요약 지침("이 코드가 무엇을 하는지 한 문장으로 요약하세요")을 포함합니다.
• 지표: 주요 지표는 제공자가 보고한 이미지 입력 토큰($I$)과 텍스트 입력 토큰($T$)의 비율입니다. 본 연구는 가중 평균 비율(데이터셋 전체의 모든 토큰 합계)과 크기 계층화 비율을 보고하여 임계점(break-even points)을 식별합니다.
• 제약 사항: 본 연구는 '토큰 계상'을 '의미적 충실도(semantic fidelity)', 작업 정확도, 지연 시간, 금전적 비용 또는 코딩 에이전트 효율성과 명확히 분리합니다. 본 연구는 이미지 토큰이 텍스트 토큰과 계산적으로 동일하다고 주장하지 않습니다.

주요 기여

1. 재현 가능한 산출물: 1,350개의 성공적인 API 호출과 675개의 완전한 텍스트/이미지 쌍을 포함하며, 여기에는 원시 사용 기록, 검증기 및 결정론적 분석 스크립트가 포함됩니다.
2. 크기 계층화 측정: 토큰 감소가 균일하지 않으며, 소스 길이에 따라 크게 달라지고 제공자마다 다르다는 실증적 증거를 제시합니다.
3. 모달리티 감사: 페이지 경계에서 발생하는 비단조적(non-monotonic) 동작을 밝혀내는 표적 조사를 수행합니다.
4. 유효성 경계: 토큰 계산 지표와 정보 보존 사이의 명확한 구분을 설정하여, "더 적은 토큰"을 "더 나은 성능" 또는 "더 낮은 비용"과 혼동하는 것을 방지합니다.

결과

• 총합 감소량: 전체 벤치마크에서 압축 이미지는 가공되지 않은 텍스트보다 현저히 적은 입력 토큰을 받습니다:
  • Anthropic: 0.135 비율 (86.5% 감소).
  • OpenAI: 0.194 비율 (80.6% 감소).
  • Gemini: 0.242 비율 (75.8% 감소).
• 임계점 동작: 총합 비율은 결정적인 차이인 확장성을 은폐합니다:
  • Anthropic 및 OpenAI: 이미지 입력은 테스트된 모든 크기(20~2,000행)에서 텍스트보다 낮은 토큰 수를 기록했습니다.
  • Gemini: 이미지는 짧은 컨텍스트에서 막대한 오버헤드를 발생시킵로 합니다. 20행에서 Gemini 이미지는 텍스트보다 6.95배 더 많은 토큰을 필요로 합니다. 이미지 방식이 유리해지는 시점(패리티를 하회하는 시점)은 200행 이후입니다.
• 모델 별칭: 제공자 내에서 많은 모델 별칭이 동일한 계상 시그니처를 공유합니다(예: 연구에 사용된 6개의 OpenAI 모델 모두 동일한 총합 비율을 반환함). 이는 독립적인 모델 동작보다는 공유된 내부 계상 규칙을 시사합니다.
• 비단조성(Non-Monotonicity): Gemini에 대한 표적 감사 결과, 보고된 이미지 토큰 수가 페이지 경계에서 비단조적으로 변할 수 있음이 드러났습니다. 예를 들어, 소스를 800행에서 1,200행으로 늘렸을 때(두 번째 페이지 추가), 한 모델의 보고된 이미지 토큰 수가 감소했는데, 이는 토큰 수가 콘텐츠에 따라 선형적으로 증가할 것이라는 기대와 상충합니다.

의의 및 주장
본 논문은 압축된 이미지 렌더링이 긴 컨텍스트에 대해 보고된 입력 토큰을 획기적으로 줄일 수 있지만, 그 이점이 매우 조건적이라고 주장합니다:

1. 제공자 특이성: 보편적인 "시각적 압축" 이점은 존재하지 않습니다. Gemini와 같은 제공자는 높은 고정 비용을 가지고 있어 짧은 컨텍스트에서는 이미지가 역효과를 낼 수 있습니다.
2. 라우팅 함의: 코딩 하네스(harness)는 "코드를 이미지로 보내라"는 글로벌 정책에 의존할 수 없습니다. 대신, 라우팅 로직은 제공자와 소스 크기에 따라 보정되어야 하며, 짧은 컨텍스트나 페이지 경계에서 불연속성이 발생하는 경우 텍스트로 회귀(fallback)해야 합니다.
3. 토큰 수의 한계: 본 연구는 보고된 토큰의 감소가 동등한 정보량, 낮은 금전적 비용 또는 감소된 연산을 의미하지 않는다는 점을 강조합니다. 들여쓰기 마커가 잘못 해독될 수 있으며, 래스터화 과정에서 구두점이나 구조가 흐려질 수 있습니다.
4. 향후 과제: 저자들은 본 연구를 향후 연구가 구축할 수 있는 "측정 표면(measurement surface)"으로 위치시킵니다. 저자들은 다음 필수 단계가 표현의 교차 검증(예: 정확한 전사, 결함 위치 파악)을 통해 토큰 절감이 실제 코딩 유용성으로 이어지는지 결정하는 것이라고 주장합니다.

결론적으로, 압축 렌더링된 코드는 특정 영역(긴 컨텍스트, 특정 제공자)에서 토큰 계상을 위한 유효한 전략이 될 수 있지만, 신중하고 제공자별로 특화된 보정과 정보 충실성에 대한 추가적인 검증이 필요합니다.