Resumen Técnico: Cuantificación de la Deriva No Determinista en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más en tareas críticas que van desde la síntesis hasta el apoyo en la toma de decisiones. Una expectativa fundamental en estos despliegues es que los prompts idénticos, cuando se ejecutan bajo configuraciones "deterministas" fijas (por ejemplo, temperatura establecida en 0.0 y semillas fijas), produzcan salidas idénticas. Sin embargo, la evidencia empírica sugiere que esto no siempre es así.

El documento aborda el fenómeno de la deriva de comportamiento base: la variabilidad observada cuando se emite el mismo prompt múltiples veces sin instrucciones de estabilización o intervenciones a nivel de operador. Esta deriva surge de dos fuentes primarias:

1. Propiedades Intrínsecas del Modelo: Algoritmos de muestreo y escala del modelo.
2. Nondeterminismo Inducido por la Infraestructura: La infraestructura de servicio, incluyendo algoritmos de muestreo mal compilados, no asociatividad de punto flotante y optimizaciones opacas de la API (por ejemplo, procesamiento por lotes dinámico, encolamiento de solicitudes).

El problema central es la falta de una cuantificación sistemática y libre de operadores de esta deriva. Sin una base medida, es imposible distinguir entre la variabilidad inherente del modelo y los efectos de las estrategias de mitigación propuestas.

Metodología

Este estudio es un experimento centrado en la medición, diseñado para cuantificar la deriva base bajo condiciones ordinarias y libres de operadores. No introduce nuevas técnicas de estabilización ni métodos de ingeniería de prompts.

Configuración Experimental

• Modelos Probados:
  • gpt‑4o‑mini: Un modelo más pequeño servido a través de una API de nube propietaria.
  • llama3.1‑8b: Un modelo de pesos abiertos ejecutándose localmente en una única GPU NVIDIA A100 utilizando el motor vLLM.
• Categorías de Prompts: Se utilizaron cinco categorías distintas para probar la sensibilidad:
  1. Resúmenes subespecificados
  2. Consejos subespecificados
  3. Restricciones ligeras
  4. Prompts de estilo
  5. Restricciones estrictas
• Modos de Prompting:
  1. Repeticiones Exactas: Prompts idénticos ejecutados múltiples veces.
  2. Entradas Perturbadas: Se introducen sinónimos y cambios léxicos menores preservando el significado.
  3. Reutilización (Reuse): Respuestas previas alimentadas de nuevo como entrada para el siguiente prompt.
• Parámetros: Los experimentos se realizaron a temperaturas de 0.0 y 0.7.
• Volumen: Cada combinación de modelo/prompt se ejecutó 30 veces (conjunto de datos gapfill) o 20 veces (batería pequeña). Se excluyeron las ejecuciones con errores de API o de rechazo.

Métricas

El estudio se apoya en métricas léxicas para proporcionar un límite inferior conservador de la deriva, reconociendo que se necesitan métricas semánticas para un análisis más profundo, las cuales se reservan para trabajos futuros.

1. Fracción de Salida Única: La relación entre respuestas distintas y el total de ejecuciones (aproximando la probabilidad de una nueva respuesta en una segunda llamada).
2. Similitud de Jaccard Promedio por Pares: Calculada sobre salidas tokenizadas para medir el solapamiento léxico.
3. Estadísticas de Conteo de Palabras: Media y desviación estándar de los conteos de palabras a través de las ejecuciones.

Resultados Clave

Los experimentos revelaron que la no determinación persiste incluso bajo configuraciones teóricamente diseñadas para ser deterministas (Temperatura 0.0).

• Variabilidad Base a Temperatura 0.0:

  • gpt‑4o‑mini: Produjo salidas distintas en aproximadamente el 24% de las ejecuciones (Fracción Única = 0.24) con una similitud de Jaccard promedio de 0.89.
  • llama3.1‑8b: Produjo salidas distintas en aproximadamente el 9% de las ejecuciones (Fracción Única = 0.09) con una similitud de Jaccard promedio de 0.97.
  • Observación: El modelo servido vía API exhibió aproximadamente 2.5 veces más variabilidad que el modelo de pesos abiertos local.

• Impacto de la Perturbación y la Reutilización:

  • Entradas Perturbadas: Aumentaron la variabilidad significativamente (gpt‑4o‑mini: 0.57; llama3.1‑8b: 0.27).
  • Modo de Reutilización (Reuse): Redujo la variabilidad en comparación con las repeticiones exactas (gpt‑o‑mini: 0.20; llama3.1‑8b: 0.10).

• Impacto de la Temperatura (0.7):

  • Elevar la temperatura a 0.7 resultó en una diversidad casi completa. Casi cada ejecución produjo una nueva respuesta (Fracción Única $\approx$ 1.0), y la similitud léxica cayó por debajo de 0.52 en todos los modos.

• Diferencias de Modelo y Despliegue:

  • Los modelos más grandes y los despliegues servidos por API generalmente exhibieron mayor varianza. El estudio sugiere que parte de la deriva en entornos de API refleja el stack de inferencia (optimizaciones ocultas, procesamiento por lotes) más que los pesos del modelo por sí solos.

Principales Contribuciones

1. Cuantificación Sistemática de la Deriva Base: El documento proporciona la primera medición sistemática y multimodelo de la deriva de comportamiento base a través de dos tipos de despliegue distintos (API vs. local), cinco categorías de prompts y tres modos de prompting.
2. Evidencia de la Persistencia de la No Determinación: Demuestra que las configuraciones "deterministas" (Temperatura 0.0) no garantizan la reproducibilidad. Los patrones de variabilidad difieren según el tamaño del modelo, el método de despliegue y el modo de prompting.
3. Marco Conceptual mediante Presupuestos de Varianza: El documento contextualiza estas mediciones utilizando el concepto de un "presupuesto de varianza" (análogo a un presupuesto de error en la ingeniería de fiabilidad). Esto enmarca la deriva no como un fallo binario, sino como un problema de asignación de recursos donde las aplicaciones deben decidir niveles aceptables de variabilidad (por ejemplo, $\pm$5% para cifras financieras).
4. Separación de Medición y Control: El estudio distingue explícitamente entre medir la deriva y mitigarla. Al establecer una base imparcial, evita la confusión entre el ruido de la medición y la eficacia de futuras técnicas de estabilización.

Significado y Reivindicaciones

El documento se posiciona como un estudio descriptivo y fundacional en lugar de una solución prescriptiva. Su importancia radica en:

• Establecer un Punto de Referencia: Proporciona una base necesaria contra la cual comparar futuros estudios de mitigación (por ejemplo, ingeniería de prompts, decodificación restringida). Sin esta base, es imposible determinar si una intervención reduce genuinamente la deriva o simplemente la enmascara.
• Resaltar los Efectos de la Infraestructura: Los resultados sugieren que una parte significativa de la deriva observada en entornos de producción proviene del stack de inferencia (APIs, hardware, procesamiento por lotes) y no del modelo en sí.
• Definir los Límites de las Métricas Léxicas: Aunque el estudio utiliza métricas léxicas por su interpretabilidad, reconoce explícitamente sus limitaciones (por ejemplo, marcar el parafraseo inofensivo como deriva) y solicita la integración de métricas semánticas en trabajos futuros.
• Implicaciones para la Fiabilidad: Los hallazgos implican que confiar en una única ejecución de un LLM puede ocultar el rendimiento en el peor de los casos. Se recomienda reportar múltiples ejecuciones para proporcionar una imagen completa del comportamiento del modelo.

Los autores concluyen que la no determinación es una característica inherente de los LLM actuales, derivada tanto de su escala como de la infraestructura. Comprender y cuantificar esta deriva es un prerrequisito para mejorar la fiabilidad de los LLM en sistemas multi-agente e interacciones de largo alcance.