Auditing Pay-Per-Token in Large Language Models

A continuación presento un resumen técnico detallado del artículo "Auditing Pay-Per-Token in Large Language Models" (Auditoría de Pago por Token en Modelos de Lenguaje Grande), basado en el documento proporcionado.

1. El Problema: Asimetría de Información y Riesgo Moral

El artículo aborda un problema emergente en el mercado de servicios de Modelos de Lenguaje Grande (LLM) como servicio (LLM-as-a-Service). Actualmente, la mayoría de los proveedores cobran a los usuarios bajo un modelo de "pago por token".

• La Vulnerabilidad: Existe una asimetría de información fundamental entre el proveedor y el usuario. El proveedor observa todo el proceso generativo interno del modelo (incluyendo la tokenización exacta), mientras que el usuario solo ve y paga por la cadena de texto final.
• El Incentivo Financiero: Dado que la tokenización de una cadena de texto no es única (una misma frase puede representarse con diferentes secuencias de tokens), un proveedor deshonesto puede manipular la tokenización para reportar un número mayor de tokens de los realmente generados, cobrando así más al usuario sin alterar el significado del texto.
• El Objetivo: Desarrollar un marco de auditoría que permita a un tercero de confianza detectar si un proveedor está reportando incorrectamente la cantidad de tokens, protegiendo al usuario de este "riesgo moral".

2. Metodología: Prueba de Hipótesis Secuencial y Martingalas

Los autores proponen un marco de auditoría basado en la teoría de martingalas y pruebas de hipótesis secuenciales. El enfoque no requiere que el auditor observe el proceso interno del proveedor en tiempo real, sino que utiliza las probabilidades de los siguientes tokens del modelo para verificar la consistencia estadística.

A. Formalización del Problema

El problema se modela como una prueba de hipótesis secuencial sobre la intensidad de reporte erróneo $I(\pi)$:

• Hipótesis Nula ($H_0$): El proveedor es fiel ($\pi_0$), reportando la tokenización real. $I(\pi_0) = 0$.
• Hipótesis Alternativa ($H_1$): El proveedor es deshonesto y reporta una tokenización con más tokens en promedio. $I(\pi) > 0$.

B. Estimador de Longitud Promedio (Sección 3.1)

Un desafío central es determinar cuántos tokens debería haber usado el modelo para generar una cadena de texto específica $s$. Dado que el modelo puede generar múltiples tokenizaciones para la misma cadena, los autores desarrollan un estimador insesgado y eficiente de la longitud promedio de las secuencias de tokens que codifican una cadena $s$.

• Utilizan un proceso de generación modificado (enmascarado) que fuerza al modelo a generar secuencias que resulten en la cadena $s$.
• Aplican una técnica de muestreo por rechazo ponderado (reweighted sampling) para corregir el sesgo introducido por la modificación del proceso de generación, obteniendo una estimación insesgada de la longitud esperada.

C. Proceso de Auditoría y Martingalas (Sección 3.2)

El auditor interactúa secuencialmente con el proveedor:

1. Envía un prompt $Q$.
2. Recibe la respuesta y la tokenización reportada $\tilde{T}$.
3. Calcula la evidencia $E_i$ como la diferencia entre la longitud reportada y la longitud estimada esperada:
   $$E_i = \text{len}(\tilde{T}) - \text{EstimateLength}(Q, \text{str}(\tilde{T}))$$
4. Construye un proceso estocástico $M_i$ (una martingala bajo $H_0$) que acumula la evidencia:
   $$M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$$
   Donde $\lambda_i$ es un parámetro de ponderación.

D. Toma de Decisiones

El auditor rechaza $H_0$ (y marca al proveedor como deshonesto) tan pronto como el proceso $M_i$ supera un umbral predefinido $1/\alpha$:
$$\phi_\alpha = \mathbb{I}\left(\exists i : M_i > \frac{1}{\alpha}\right)$$
Este enfoque garantiza teóricamente que la tasa de falsos positivos (marcar a un proveedor fiel como deshonesto) esté acotada por $\alpha$.

3. Contribuciones Clave

1. Marco de Auditoría Teórico: Es el primer trabajo que formaliza la detección de reporte erróneo de tokens como una prueba de hipótesis secuencial utilizando martingalas y valores-e (e-values).
2. Garantías Teóricas Robustas:
   • Control de Falsos Positivos: Demuestran que la probabilidad de acusar falsamente a un proveedor fiel es $\leq \alpha$ (Teorema 3).
   • Detección Garantizada: Proban que, si el proveedor es deshonesto con una intensidad $I(\pi) > 0$, el auditor detectará el fraude en un número finito de pasos con probabilidad 1, independientemente de la política de reporte utilizada por el proveedor (Teorema 4).
3. Nuevo Estimador Estadístico: Desarrollan un estimador insesgado para la longitud promedio de tokenizaciones de una cadena, una herramienta que puede ser de interés independiente para la investigación en LLMs.
4. Validación Empírica: Validan el marco en múltiples familias de modelos (Llama, Gemma, Ministral) y bajo diferentes políticas de reporte erróneo.

4. Resultados Experimentales

Los autores realizaron experimentos simulados utilizando modelos de las familias Llama, Gemma y Ministral, con prompts del dataset LMSYS Chatbot Arena.

• Fiabilidad (Falsos Positivos): Al auditar proveedores fieles, el proceso de prueba $M_i$ permaneció cerca de su valor inicial (1) y nunca cruzó el umbral de detección en 150 iteraciones por modelo, manteniendo la tasa de falsos positivos muy por debajo del límite teórico $\alpha = 0.05$.
• Eficacia de Detección: Para proveedores deshonestos que utilizaban políticas de reporte erróneo (aleatorias o heurísticas), el marco detectó el fraude después de observar menos de ~70 salidas reportadas.
• Relación Intensidad-Tiempo: Se observó que el tiempo de detección disminuye rápidamente a medida que aumenta la intensidad del reporte erróneo ($I(\pi)$). Las políticas heurísticas (más sofisticadas) mostraron una mayor varianza en el tiempo de detección en comparación con las políticas aleatorias, pero fueron detectadas con éxito.
• Robustez: El sistema demostró ser robusto incluso cuando el auditor tenía acceso a una versión cuantizada del modelo (acceso aproximado) en lugar de la versión exacta del proveedor.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Protección del Consumidor: Proporciona una herramienta técnica para combatir el fraude financiero en la industria de la IA generativa, donde los usuarios son vulnerables debido a la opacidad de la tokenización.
• Marco Regulatorio: Se alinea con regulaciones emergentes como la Ley de IA de la UE (Artículo 74), que prevé el acceso de auditores de confianza a modelos propietarios para verificar su funcionamiento.
• Nueva Línea de Investigación: Abre un campo de estudio sobre la economía de los LLMs y la auditoría algorítmica, moviendo el foco más allá de la calidad del modelo hacia la integridad de los mecanismos de facturación y transparencia.
• Independencia del Proveedor: A diferencia de otros métodos que requieren conocer el modelo exacto, este marco funciona bajo supuestos realistas donde el auditor tiene acceso a las probabilidades del modelo (ya sea por ser un modelo de pesos abiertos o por mandato regulatorio), pero no necesita ver el proceso interno del proveedor en tiempo real.

En conclusión, el paper establece un estándar para la auditoría de integridad en servicios de LLM, demostrando que es posible detectar y disuadir el reporte erróneo de tokens con garantías matemáticas sólidas y una eficiencia práctica alta.