💻 computer science

Behavioral Consistency and Transparency Analysis on Large Language Model API Gateways

El artículo presenta GateScope, un marco de medición de caja negra diseñado para auditar la consistencia conductual y la transparencia operativa de las pasarelas de API de modelos de lenguaje grandes (LLM) de terceros, revelando mediante pruebas en diez plataformas comerciales frecuentes discrepancias en la asignación de modelos, la retención de memoria, la facturación y la estabilidad de la latencia.

Autores originales: Guanjie Lin, Yinxin Wan, Shichao Pei, Ting Xu, Kuai Xu, Guoliang Xue

Publicado 2026-04-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Guanjie Lin, Yinxin Wan, Shichao Pei, Ting Xu, Kuai Xu, Guoliang Xue

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las Inteligencias Artificiales (IA) modernas, como las que escriben poemas o resuelven problemas de matemáticas, son como cocineros de élite en restaurantes famosos. Cada restaurante (OpenAI, Google, Anthropic) tiene su propio chef estrella y su propia receta secreta.

Ahora, imagina que han surgido unos "Gestores de Comidas" (los Gateways o pasarelas de API). Estos gestores te dicen: "¡Hola! No necesitas llamar a cada restaurante por separado. Llama a mi número, paga una sola cuenta y yo te traeré el plato que quieras, ya sea del Chef GPT, del Chef Claude o del Chef Gemini".

Parece perfecto, ¿verdad? Pero aquí está el problema: no puedes ver la cocina.

El Problema: La "Caja Negra"

Este artículo de investigación, titulado "GateScope", es como un inspector de sanidad invisible que decide entrar en secreto a estas cocinas para ver qué está pasando realmente. Los autores descubrieron que, aunque los gestores prometen traer el plato exacto que pediste, a menudo están haciendo trucos sucios:

El Truco del Chef de Repuesto (Modelo Downgrading):
- La analogía: Pides un filete de la mejor calidad (un modelo caro y potente) y pagas por él. Pero el gestor, para ahorrar dinero, envía un filete de menor calidad hecho por un chef junior (un modelo más barato y menos inteligente) sin decirte nada.
- Lo que encontraron: Muchos gestores cambiaban silenciosamente el modelo por uno inferior.
El Truco del Menú Cortado (Truncación Silenciosa):
- La analogía: Pides una historia larga y detallada. El chef empieza a contarla, pero el gestor corta la historia a la mitad porque "su cocina es pequeña" y no te avisa. Simplemente te entrega un final abrupto.
- Lo que encontraron: Los gestores a veces cortaban la memoria de la conversación o la respuesta sin que el usuario se diera cuenta.
La Factura Mágica (Facturación Inexacta):
- La analogía: Pides una pizza. Te cobran por una pizza gigante, pero en la cocina solo usaron ingredientes para una pequeña, o peor, te cobran por ingredientes que ni siquiera tocaron.
- Lo que encontraron: Algunos cobraban más de lo que decían sus propias tarifas o cobraban por "recetas guardadas" que no deberían costar extra.
El Truco de la Velocidad (Latencia Inestable):
- La analogía: A veces el plato llega en 5 segundos, y otras veces tarda 5 minutos, sin una razón clara. Esto pasa porque el gestor está cambiando de cocinero o de ruta constantemente.
- Lo que encontraron: La velocidad de respuesta variaba locamente, lo que indicaba que el sistema no era estable.

La Solución: GateScope (El Detective)

Los investigadores crearon una herramienta llamada GateScope. Imagínalo como un detective con una lista de preguntas trampa.

¿Cómo funciona? GateScope envía preguntas muy específicas a estos gestores. Por ejemplo: "¿Cuál es el resultado de esta operación matemática compleja?" o "Recuerda mi nombre favorito que te dije hace 20 turnos de conversación".
La huella digital: Cada modelo de IA tiene una "huella digital" única en cómo piensa y responde. GateScope analiza la respuesta para ver si coincide con la huella del chef que dijiste que era, o si es la huella de un impostor.
La prueba de memoria: GateScope mantiene conversaciones largas (como un chat de 25 mensajes) para ver si el gestor olvida lo que dijiste al principio o si cambia de chef a mitad de la charla.

¿Qué descubrieron?

Cuando probaron GateScope en 10 gestores comerciales reales, encontraron que:

Muchos no eran tan honestos como decían.
A veces te cobraban por un modelo "Premium" pero te daban uno "Básico".
A veces olvidaban lo que habías dicho hace unos minutos.
A veces la factura no coincidía con lo que realmente consumiste.

En resumen

Este estudio nos dice que, aunque los "Gestores de IA" son muy convenientes, no debemos confiar ciegamente en ellos. Son como intermediarios que pueden estar engañándonos para ahorrar costos. GateScope es la herramienta que nos permite, como clientes, mirar detrás del telón y asegurarnos de que nos están dando lo que pagamos: el chef correcto, la receta completa y la factura justa.

Es un llamado a la transparencia: si pagas por un servicio de lujo, deberías recibir un servicio de lujo, no uno disfrazado.

1. Introducción y Problema

Los Gateways de API de LLM (Modelos de Lenguaje Grande) han surgido como intermediarios esenciales que ofrecen una interfaz unificada para acceder a modelos de múltiples proveedores (como OpenAI, Anthropic, Google) mediante una sola clave de API y facturación centralizada. Aunque simplifican la integración para desarrolladores y empresas, estos gateways operan como cajas negras.

El problema central es la falta de transparencia y garantías de consistencia. Los usuarios no pueden verificar:

Si las solicitudes se procesan realmente con el modelo anunciado o si el gateway las redirige silenciosamente a modelos más baratos o menos capaces (degradación o cambio de modelo).
Si el contexto de conversaciones multi-turno se preserva o si el gateway realiza recortes silenciosos (truncation) de la historia o la respuesta para ahorrar tokens.
Si la facturación es precisa, especialmente en relación con el uso de tokens en caché y las políticas de precios públicas.
La estabilidad de la latencia, que puede variar drásticamente debido a cambios en el enrutamiento o la carga del servidor.

El trabajo anterior se ha centrado principalmente en proveedores directos o en modelos de código abierto, dejando un vacío en la auditoría de gateways comerciales de terceros.

2. Metodología: GateScope

Para abordar este vacío, los autores presentan GateScope, un marco de medición ligero y de "caja negra" diseñado para auditar gateways comerciales sin acceso privilegiado ni instrumentación interna. GateScope opera exclusivamente a través de las APIs públicas y evalúa la transparencia en cuatro dimensiones críticas:

A. Análisis de Contenido de Respuesta (Detección de Modelos)

Objetivo: Determinar si el gateway está sirviendo el modelo solicitado o si ha sustituido el modelo.
Técnica: En lugar de depender de la coincidencia de texto libre (que es inestable debido a la aleatoriedad de la generación), GateScope utiliza un conjunto de probes (sondas) estructuradas en cuatro dominios:
1. AIME: Problemas matemáticos de respuesta numérica.
2. GPQA: Preguntas de opción múltiple de alto nivel de razonamiento.
3. Recuerdo de Hechos: Eventos recientes (2021-2025) para verificar cortes de conocimiento.
4. Inferencia Geográfica: Tareas de razonamiento multi-paso.
Extracción de Firmas: Las respuestas se obligan a seguir un esquema JSON estricto (camino de conocimiento y respuesta final). Se extrae un vector de firma conductual basado en: calidad de la respuesta, estructura del razonamiento, escala, estilo (uso de LaTeX/números) y calidad del análisis sintáctico.
Clasificación: Se entrenan clasificadores XGBoost "uno contra todos" para identificar si una respuesta proviene del modelo reclamado basándose en estas firmas.

B. Rendimiento de Conversación Multi-turno

Objetivo: Evaluar la retención de contexto y detectar cambios de modelo o recortes silenciosos durante diálogos largos.
Técnica: Se utiliza una plantilla de conversación de 25 turnos que incluye:
- Asignación de identidad y preferencias iniciales.
- Segmentos de distracción (temas no relacionados).
- Actualización explícita de preferencias.
- Puntos de control (checkpoints) al final para verificar la memoria.
Métricas:
- Tasa de paso de puntos de control: ¿Se recuerda la identidad y la preferencia actualizada?
- Estabilidad de la huella digital del sistema (System Fingerprint): Cambios en este identificador indican un cambio de modelo subyacente.
- Tasa de uso de tokens en caché: Una caída repentina puede indicar un cambio de modelo que reinicia el mecanismo de caché.

C. Precisión de Facturación

Objetivo: Detectar discrepancias entre el consumo de tokens esperado y el cobrado.
Técnica: Se calcula el costo esperado ( $C_{exp}$ ) basándose en las tarifas públicas y el conteo de tokens reportado por la API (entrada, salida y tokens en caché).
Comparación: Se compara $C_{exp}$ con el monto real cobrado ( $C_{act}$ ) para identificar cobros excesivos, falta de descuentos por caché o conteos de tokens incorrectos.

D. Características de Latencia

Objetivo: Medir la estabilidad del servicio.
Técnica: Se realizan múltiples solicitudes repetidas con las mismas sondas en una ventana de tiempo acotada.
Métrica: Se utiliza el Coeficiente de Variación (CV) de la latencia. Una CV alta o distribuciones multimodales sugieren comportamientos inestables en el backend, como cambios de modelo o sobrecarga del gateway.

3. Resultados Clave

Los autores validaron GateScope primero en APIs oficiales de proveedores (24 modelos) y luego aplicaron el marco a 10 gateways comerciales reales (anonimizados en el estudio).

Inconsistencia en el Contenido (Modelo):
- Mientras que la API oficial tiene una tasa de identificación del modelo reclamado >95%, varios gateways mostraron tasas muy bajas.
- Por ejemplo, para el modelo gpt-5, algunos gateways clasificaron las respuestas como pertenecientes a otros modelos en más del 50% de los casos, indicando sustitución de modelo frecuente.
- Para gpt-4o, plataformas como b*ie y a*yi mostraron consistencia significativamente menor que la API oficial.
Problemas en Conversaciones Multi-turno:
- Varios gateways fallaron en retener información introducida al inicio de la conversación (puntos de control en el turno 24 y 25).
- Se observaron cambios de huella digital (fingerprint) en medio de la conversación, confirmando cambios de modelo silenciosos.
- Plataformas como a*yi mostraron tasas de uso de caché extremadamente bajas (~~4-5%) comparadas con la API oficial (~~48%), sugiriendo que el contexto se está descartando o el modelo se cambia constantemente.
Discrepancias de Facturación:
- La mayoría de los gateways facturaron correctamente, pero algunos mostraron desviaciones significativas.
- El gateway o*ey mostró una brecha de facturación del 62.8% para gpt-4o, cobrando mucho más de lo esperado incluso con un uso de tokens similar al de otros.
- a*ix mostró una brecha del 7.6%.
Inestabilidad de Latencia:
- El gateway b*ie exhibió una inestabilidad marcada con un CV de latencia mucho más alto que la línea base (1.10 vs 0.63 en pruebas matemáticas), indicando un comportamiento de backend heterogéneo o inestable.

4. Contribuciones Clave

Identificación de un vacío crítico: Demostraron que los gateways de LLM de terceros carecen de garantías de transparencia y consistencia, exponiendo a los usuarios a riesgos de calidad y costos.
Diseño de GateScope: Creación de un marco de auditoría ligero y automatizado que opera desde la perspectiva del cliente, cubriendo contenido, memoria, facturación y latencia.
Validación Empírica: Aplicación del marco a 10 gateways comerciales, revelando discrepancias sustanciales entre el comportamiento esperado y el observado, incluyendo sustitución de modelos, degradación de memoria y errores de facturación.
Herramientas Abiertas: Publicación de los artefactos de investigación (código y datos) en GitHub para fomentar la auditoría continua.

5. Significado e Impacto

Este trabajo es fundamental para la confiabilidad de la IA (Trustworthy AI) y la economía de los servicios de LLM.

Para los usuarios: Proporciona evidencia de que confiar ciegamente en un gateway puede resultar en recibir un modelo inferior, perder contexto en aplicaciones críticas o pagar de más.
Para la industria: Destaca la necesidad de estándares de transparencia y la importancia de la auditoría independiente de intermediarios de software.
Para la investigación: Establece una metodología robusta para la "huella digital" de modelos en entornos de caja negra, superando las limitaciones de los métodos basados puramente en texto.

En conclusión, GateScope revela que la promesa de unificación de los gateways de LLM a menudo se ve comprometida por prácticas opacas que degradan la calidad del servicio y la integridad económica, subrayando la necesidad urgente de mecanismos de auditoría y regulación.