Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

Technische Zusammenfassung: Pixel für Programme? Eine Anbieter-übergreifende Fallstudie zur Eingabe-Token-Abrechnung von Quellcode als Text und Bild

Problemstellung
Lange Kontexte von Quellcode überschreiten oft die Token-Limits von Sprachmodellen, was Vorschläge motiviert, Code als Bilder für Vision-Language-Modelle (VLMs) darzustellen. Während die jüngere Forschung untersucht, ob Modelle Code-Aufgaben nach dieser Transformation lösen können, bleibt eine kritische systemische Frage unbeantwortet: Wie zählen kommerzielle API-Anbieter die resultierenden Anfragen ab? Insbesondere ist unklar, wie sich die Abrechnung der Eingabe-Token ändert, wenn Code als Rohtext gegenüber kompakten gerenderten Bildern übertragen wird, wie diese Beziehung mit der Quelllänge skaliert und ob „visuelle Kompression“ eine Nettoreduktion der gemeldeten Token über verschiedene Anbieter und Modell-Aliase hinweg bietet.

Methodik
Die Studie verwendet ein reproduzierbares Black-Box-Messprotokoll, um die Eingabe-Token-Abrechnung über drei große Anbieter zu vergleichen: Anthropic, OpenAI und Google Vertex AI.

• Korpus: Der Datensatz besteht aus fünf revisionsfixierten Quelldateien (Python, JavaScript, Rust, Go und Java) aus prominenten Open-Source-Projekten. Diese Dateien werden in neun verschachtelte Präfixe von 20 bis 2.000 Zeilen unterteilt.
• Behandlung (Kompaktes Bild): Der Bild-Arm wendet eine zweistufige Transformation an:
  1. Einrückungs-Kompression: Führende Leerzeichen werden durch kompakte Marker ersetzt (z. B. > für 4-Leerzeichen-Einrückungen, ^N für unregelmäßige Folgen).
  2. Rendering: Der transformierte Text wird als PNG-Seiten gerendert.
• Experimentelles Design: Für jede Quellgröße und Sprache werden gepaarte Anfragen an 15 verfügbare Modell-Aliase gesendet (4 Anthropic, 6 OpenAI, 5 Gemini). Beide Arme enthalten eine identische einzeilige Zusammenfassungs-Instruktion („Fasse zusammen, was dieser Code macht, in einem Satz“).
• Metriken: Die primäre Metrik ist das Verhältnis der vom Anbieter gemeldeten Bild-Eingabe-Token ($I$) zu den Text-Eingabe-Token ($T$). Die Studie berichtet aggregierte gewichtete Verhältnisse (Summierung aller Token über den Datensatz) und größenstratifizierte Verhältnisse, um Break-Even-Punkte zu identifizieren.
• Einschränkungen: Die Studie isoliert explizit die Token-Abrechnung von semantischer Treue, Aufgaben-Genauigkeit, Latenz, monetären Kosten oder der Effizienz von Coding-Agenten. Sie behauptet nicht, dass Bild-Token rechnerisch äquivalent zu Text-Token sind.

Wesentliche Beiträge

1. Reproduzierbares Artefakt: Ein Datensatz aus 1.350 erfolgreichen API-Aufrufen und 675 vollständigen Text/Bild-Paaren, einschließlich Roh-Nutzungsdatensätzen, Validatoren und deterministischer Analyse-Skripte.
2. Größenstratifizierte Messungen: Empirische Belege dafür, dass die Token-Reduktion nicht uniform ist; sie variiert signifikant nach Quelllänge und Anbieter.
3. Modalitäts-Audit: Eine gezielte Untersuchung, die ein nicht-monotones Verhalten in der Bild-Abrechnung aufzeigt, insbesondere an Seiten-Grenzen.
4. Gültigkeitsgrenze: Eine klare Demarkation zwischen Token-Zählmetriken und Informationserhaltung, um die Vermischung von „weniger Token“ mit „besserer Leistung“ oder „geringeren Kosten“ zu verhindern.

Ergebnisse

• Aggregierte Reduktionen: Über den gesamten Benchmark hinweg erhalten kompakte Bilder signifikant weniger gemeldete Eingabe-Token als Rohtext:
  • Anthropic: 0,135 Verhältnis (86,5 % Reduktion).
  • OpenAI: 0,194 Verhältnis (80,6 % Reduktion).
  • Gemini: 0,242 Verhältnis (75,8 % Reduktion).
• Break-Even-Verhalten: Die aggregierten Verhältnisse verschleiern kritische Unterschiede in der Skalierung:
  • Anthropic und OpenAI: Bild-Eingaben erhalten bei jeder getesteten Größe (20 bis 2.000 Zeilen) niedrigere Token-Zahlen als Text.
  • Gemini: Bilder verursachen einen massiven Overhead für kurze Kontexte. Bei 20 Zeilen benötigen Gemini-Bilder 6,95-mal mehr Token als Text. Der Bild-Ansatz wird erst (nach dem Überschreiten der Parität) vorteilhaft (unter die Parität sinkend) bei 200 Zeilen.
• Modell-Aliase: Innerhalb der Anbieter weisen viele Modell-Aliase identische Abrechnungs-Signaturen auf (z. B. lieferten alle sechs im Studium untersuchten OpenAI-Modelle identische aggregierte Verhältnisse), was auf gemeinsame interne Abrechnungsregeln statt unabhängiger Modell-Verhaltensweisen hindeutet.
• Nicht-Monotonie: Ein gezieltes Audit von Gemini zeigte, dass die gemeldeten Bild-Token-Zahlen an Seiten-Grenzen nicht-monoton schwanken können. Beispielsweise führte die Erhöhung der Quelle von 800 auf 1.200 Zeilen (Hinzufügen einer zweiten Seite) zu einer Abnahme der gemeldeten Bild-Token für ein Modell, was der Erwartung widerspricht, dass Token-Zahlen linear mit dem Inhalt skalieren.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Verwendung von kompakten gerenderten Bildern die gemeldeten Eingabe-Token für lange Kontexte drastisch reduzieren kann, dieser Vorteil jedoch hochgradig konditional ist:

1. Anbieterspezifität: Es gibt keinen universellen Vorteil der „visuellen Kompression“. Anbieter wie Gemini weisen hohe Fixkosten auf, die Bilder für kurze Kontexte kontraproduktiv machen.
2. Routing-Implikationen: Ein Coding-Harness kann sich nicht auf eine globale Policy verlassen, um „Code als Bilder zu senden“. Stattdessen muss die Routing-Logik pro Anbieter und Quellgröße kalibriert werden, wobei eventuell auf Text zurückgegriffen werden muss, wenn Kontexte kurz sind oder Seiten-Grenzen Diskontinuitäten einführen.
3. Limitierungen von Token-Zahlen: Die Studie betont, dass eine Reduktion der gemeldeten Token nicht eine äquivalente Informationsmenge, geringere monetäre Kosten oder reduzierten Rechenaufwand impliziert. Einrückungs-Marker könnten falsch dekodiert werden, und die Rasterisierung könnte Interpunktion oder Struktur verschleiern.
4. Zukünftige Arbeit: Die Autoren positionieren diese Studie als „Messoberfläche“, auf der zukünftige Forschung aufbauen kann. Sie argumenten, dass der nächste notwendige Schritt die Kreuzung der Repräsentation mit der Aufgabenqualität (z. B. exakte Transkription, Defektlokalisierung) ist, um zu bestimmen, ob die Token-Einsparungen in tatsächliche Coding-Nützlichkeit übergehen.

Das Paper schließt mit der Feststellung, dass kompakter gerenderter Code eine lebensfähige Strategie für die Token-Abrechnung in spezifischen Regimen (lange Kontexte, spezifische Anbieter) ist, aber eine sorgfältige, anbieterspezifische Kalibrierung und weitere Validierung hinsichtlich der Informations-Treue erfordert.