Resumen Técnico: Índice de Sensibilidad de Formato y Envoltorios de Prompts Controlados por Tokens

Planteamiento del Problema

Los benchmarks de Modelos de Lenguaje de Gran Escala (LLM) dependen cada vez más de envoltorios de prompts (prompt wrappers) —plantillas que contienen delimitadores, instrucciones JSON o formateo paso a paso— para estructurar las salidas del modelo. Aunque se pretende que sean semánticamente irrelevantes, estos envoltorios rara vez están estandarizados entre artículos de investigación, kits de herramientas o proveedores. Esta falta de estandarización crea un modo de falla metodológica: el rendimiento reportado de un modelo puede fluctuar significativamente basándose únicamente en la elección del envoltorio en lugar de su capacidad subyacente.

El problema central es que muchos pipelines de benchmarks reportan una única puntuación de exactitud por modelo por tarea, ignorando los modos de falla de salida estructurada (por ejemplo, adherencia al esquema, llamadas a herramientas) que dominan los despliegues en el mundo real. Cuando un modelo falla al parsear una salida de acuerdo con el extractor del benchmark (por ejemplo, debido a cercas de código markdown o claves JSON faltantes), la ejecución se califica como incorrecta. Este "problema de cumplimiento" puede hacer que un modelo parezca casi aleatorio bajo un envoltorio JSON estricto mientras que tiene un buen desempeño bajo un envoltorio basado en delimitadores, lo que puede llevar a conclusiones de tablas de clasificación (leaderboards) potencialmente invertidas.

Metodología

Los autores proponen un protocolo controlado por tokens para aislar la varianza causada específicamente por el formateo del envoltorio, controlando las diferencias de longitud de prompt y conteo de tokens.

Configuración Experimental

• Modelos: Cuatro modelos ajustados por instrucciones (instruct-tuned) accedidos vía OpenRouter, que abarcan de 7B a 72B de parámetros: Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4 y Qwen-2.5-72B-Instruct.
• Tareas: Siete benchmarks de estilo QA ampliamente utilizados (BoolQ, PIQA, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K), con 200 ejemplos muestreados por tarea.
• Familias de Envoltorios: Se evaluaron cinco tipos distintos de envoltorios:
  1. Plain (Plano): Instrucciones mínimas.
  2. JSON: JSON estricto con un campo answer.
  3. Structured (Estructurado): Campos clave-valor.
  4. Structured Delim (Delimitador Estructurado): Campos clave-valor con tokens de delimitación explícitos (<BEGIN ANSWER>).
  5. Deliberate (Deliberado): Un scratchpad para el razonamiento seguido de un campo de respuesta final.
• Control de Tokens: Para mitigar el confuso factor de las longitudes variables de los prompts, los prompts fueron rellenados (padded) a un presupuesto de caracteres fijo por tarea. Se registraron los conteos de tokens realizados y se computó una métrica de dispersión relativa de tokens ($\Delta_{tok}$). Los resultados se reportaron en el conjunto de datos completo y en un subconjunto emparejado filtrado para $\Delta_{tok} \le 5\%$.
• Generación: Se produjeron 140,000 generaciones totales (4 modelos $\times$ 7 tareas $\times$ 5 envoltorios $\times$ 200 ejemplos $\times$ 5 semillas).

Métricas

El artículo introduce dos métricas de sensibilidad primarias:

1. Índice de Sensibilidad de Formato (FSI): El rango de exactitud inducido por la elección del envoltorio para un modelo y tarea dados ($FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$).
2. Índice de Sensibilidad de Parseabilidad (PSI): El rango correspondiente en la parseabilidad de la respuesta ($PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$).

Para abordar la sensibilidad al ruido de las estadísticas de rango, los autores también reportan el FSI normalizado (nFSI) e intervalos de confianza de bootstrap.

Resultados Clave

1. Varianza Extrema entre Modelos

La sensibilidad de formato varía drásticamente entre modelos.

• Qwen-2.5-72B demostró una casi invariancia de formato, con un FSI medio de 0.024 (95% CI [0.014, 0.035]).
• Phi-4 exhibió una alta sensibilidad, con un FSI medio de 0.763 (95% CI [0.607, 0.872]).
• El FSI medio varió en más de 30 veces entre los modelos probados.
• La sensibilidad normalizada (nFSI) acentuó este contraste, mostrando Phi-4 un nFSI de 2.37, lo que indica que la elección del envoltorio puede dominar la puntuación media.

2. La Parseabilidad como Motor Primario

La exactitud y la parseabilidad están fuertemente correlacionadas ($r = 0.825$). Un análisis de regresión de efectos fijos ($A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$) reveló que la parseabilidad es un fuerte predictor de la exactitud ($\hat{\beta} = 0.819$), explicando una parte sustancial de la varianza residual ($R^2 = 0.82$).

• Caso de Estudio: Bajo el envoltorio JSON estricto, Phi-4 produjo salidas con cercas de código markdown en el 85.3% de las generaciones, resultando en una parseabilidad de 2.8% y una exactitud de 0.7%.
• Esto sugiere que muchos cambios de puntuación inducidos por el envoltorio son impulsados por si la salida es consumible por máquina (parseable) en lugar de una falta de capacidad de razonamiento.

3. Distribución del Rendimiento de los Envoltorios

Ningún envoltorio único es universalmente óptimo. Mientras que los envoltorios estructurados basados en delimitadores ganaron con mayor frecuencia (12 de 28 combinaciones de modelo-tarea), los envoltorios "deliberados" y "estructurados" también ganaron de manera no trivial. Esto respalda el argumento de reportar una distribución de puntuaciones sobre los envoltorios en lugar de seleccionar un único formato "mejor".

4. Estabilidad del Control de Tokens

El protocolo de relleno de tokens redujo pero no eliminó la dispersión de tokens. La mediana de la dispersión relativa de tokens fue de 4.1%. Crucialmente, las conclusiones se mantuvieron estables al filtrar por baja dispersión de tokens ($\Delta_{tok} \le 5\%$), con un cambio en el FSI medio de solo 0.391 a 0.394.

Significancia y Recomendaciones

El artículo argumenta que reportar la exactitud sin tener en cuenta la varianza del envoltorio y el cumplimiento es estadísticamente frágil. Los autores proporcionan las siguientes recomendaciones:

• Para Benchmarking: Los artículos y las tablas de clasificación deben reportar:
  1. La familia de envoltorios específica utilizada.
  2. El conteo de tokens de los prompts.
  3. Las tasas de parseabilidad.
  4. Una métrica de sensibilidad consciente de la incertidumbre (por ejemplo, FSI con intervalos de confianza) o el intervalo de exactitud $[\min_f A, \max_f A]$.
• Para Despliegues de Salida Estructurada: El prompting por sí solo suele ser insuficiente para esquemas estrictos. Si los consumidores finales son frágiles, el colapso de la parseabilidad puede dominar la exactitud medida. Los autores sugieren usar FSI y PSI como diagnósticos para determinar cuándo son necesarios los controles en el tiempo de decodificación (por ejemplo, gramáticas, decodificación con restricciones de esquema o modos de salida estructurada de proveedores).

Limitaciones

Los autores reconocen varias limitaciones:

• El FSI es una estadística de rango susceptible a valores atípicos, aunque se mitigó mediante bootstrapping.
• El control de tokens se logró mediante relleno de caracteres, no mediante una igualación estricta de tokens.
• El conjunto de modelos es pequeño y mezcla escalas, lo que significa que la robustez puede reflejar el tamaño del modelo tanto como la arquitectura.
• El estudio se centra en QA de un solo turno; el uso de herramientas multizona y la generación de código pueden presentar dinámicas diferentes.
• La rigurosidad del parser varía; el estudio reporta sobre extracción estricta y normalizada, pero no evalúa directamente los modos de aplicación en el tiempo de decodificación.

En conclusión, el artículo postula que los benchmarks confiables y los sistemas de salida estructurada requieren medir y, a menudo, reducir la sensibilidad de formato, tratando a los envoltorios de prompts como un confuso significativo y subreportado en la evaluación de LLMs.