Resumen Técnico: TextReg

Problema: Sobreajuste Distribucional de Prompts

Los Modelos de Lenguaje Grande (LLM) son altamente sensibles a los prompts de entrada, los cuales sirven como la interfaz principal para especificar objetivos y restricciones de la tarea. Aunque los métodos recientes de optimización de prompts reescriben iterativamente los prompts utilizando retroalimentación generada por LLM para mejorar el rendimiento, a menudo sufren de sobreajuste distribucional de prompts. A medida que avanza la optimización, los prompts tienden a volverse más largos y acumulan reglas estrechas y específicas de la muestra (por ejemplo, excepciones para entidades específicas o casos límite) en lugar de codificar principios generales y compactos.

Este modo de fallo se manifiesta a lo largo de dos dimensiones acopladas:

1. Costo de Capacidad: Los prompts se expanden en longitud, consumiendo más presupuesto de contexto y haciendo más difícil que los modelos localicen instrucciones relevantes dentro de ventanas de contexto limitadas.
2. Estrechez de Alcance: Los prompts acumulan reglas que reducen la pérdida de entrenamiento pero que solo se aplican a un subconjunto estrecho de entradas, funcionando como parches ad hoc en lugar de principios de tarea reutilizables.

Los optimizadores existentes carecen de mecanismos para controlar cualquiera de estas dimensiones, lo que conduce a prompts que funcionan bien en datos de entrenamiento pero que generalizan mal a entradas fuera de distribución (OOD), variantes de tareas más difíciles o diferentes arquitecturas de modelos.

Metodología: TextReg

Los autores proponen TextReg, un marco de regularización diseñado para mitigar el sobreajuste distribucional de prompts controlando la ineficiencia representacional. El marco formaliza la ineficiencia como una medida de doble factor:
$$I(p) = C(p) \cdot W(p)$$
Donde $C(p)$ es el costo de capacidad (longitud en tokens) y $W(p)$ es la estrechez de alcance (la fracción de reglas con un alcance de generalización limitado). TextReg busca minimizar un objetivo regularizado: $\min LD_{train}(p) + \lambda I(p)$.

Dado que la optimización de prompts ocurre en un espacio de texto discreto no diferenciable, TextReg realiza este objetivo a través de tres etapas complementarias que generan y aplican "gradientes textuales":

1. Purificación de Gradientes de Doble Evidencia

Esta etapa opera en la fuente de la señal de optimización para filtrar los gradientes de tarea crudos antes de que influyan en el prompt. Distingue entre reglas ampliamente aplicables y parches estrechos y específicos de la muestra utilizando dos fuentes de evidencia:

• Evidencia de Caso Local: Analiza si una regla de gradiente propuesta se remonta directamente a características idiosincrásicas del mini-lote actual (por ejemplo, entidades específicas o condiciones de borde raras).
• Evidencia de Recurrencia Global (RuleBank): Mantiene una memoria de reglas generalizadas aceptadas. Un gradiente se retiene solo si tiene suficiente soporte de recurrencia a través de los pasos de optimización, lo que indica que captura la estructura general de la tarea en lugar de una solución única.
• Acción: Los gradientes se clasifican como Reglas Generalizadas (retenidas y reescritas de forma concisa), Parches de Caso (rechazados) o Solo Estilo (rechazados).

2. Regularización de Edición Semántica (SER)

Esta etapa diagnostica la ineficiencia que ya se ha acumulado en el prompt o que fue introducida por el proceso de reescritura. Estima el cambio en la ineficiencia representacional ($\Delta \log I(p)$) entre el prompt anterior ($p_{t-1}$) y el prompt actual ($p_t$) utilizando un enfoque de diferencias finitas:

• Canal de Capacidad: Se activa si el crecimiento relativo de la longitud en tokens supera un umbral.
• Canal de Alcance: Utiliza un analizador de diferencias semánticas para determinar si la composición de reglas se ha estrechado (se han añadido parches específicos de caso) o ampliado.
• Acción: Si se detecta degradación, SER sintetiza un gradiente de regularización textual ($g_{reg}$) que instruye al modelo a comprimir el prompt, fusionar reglas redundantes o reemplazar reglas estrechas con principios más amplios.

3. Actualización de Prompt Guiada por Regularización

La etapa final realiza la reescritura del prompt. Selecciona un nuevo candidato de prompt ($p_{t+1}$) de un conjunto de ediciones fieles a la tarea (aquellas que implementan el gradiente de tarea purificado $\tilde{g}_{task}$) que sea más compatible con el gradiente de regularización ($g_{reg}$).

• La actualización prioriza la mejora de la tarea, pero dirige la selección hacia ediciones que minimicen los aumentos en el costo de capacidad o la estrechez de alcance.
• Si ningún candidato satisface ambas señales, el sistema recurre a la actualización fiel a la tarea, asegurando que la regularización actúe como una penalización suave en lugar de una restricción dura que detenga la optimización.

Contribuciones Clave

1. Formalización de la Ineficiencia Representacional: El artículo define el sobreajuste distribucional de prompts como un fallo de eficiencia de representación en la optimización en espacio de texto discreto, introduciendo una medida de doble factor ($I(p)$) que captura la interacción entre la longitud del prompt y la especificidad de las reglas.
2. Optimización en Espacio de Texto Regularizada: TextReg introduce un marco para realizar objetivos de penalización suave en el espacio de texto sin parámetros diferenciables, utilizando Purificación de Gradientes de Doble Evidencia, Regularización de Edición Semántica y Actualización de Prompt Guiada por Regularización.
3. Mejora en la Generalización OOD: Experimentos extensivos demuestran que controlar la ineficiencia representacional mitiga significativamente el sobreajuste, lo que conduce a un rendimiento robusto en diversos conjuntos de datos y arquitecturas de modelos.

Resultados Experimentales

Los autores evaluaron TextReg en seis benchmarks de razonamiento (Deducción Lógica, Seguimiento de Objetos Mezclados, GSM8K, SVAMP, MultiArith) utilizando cuatro backends de LLM diferentes (Qwen2, Phi-3.5, Llama-3, Llama-3.1). Los prompts se optimizaron en tareas de "3 objetos" o de origen y se probaron en variantes más difíciles de "5/7 objetos" y en diferentes conjuntos de datos aritméticos.

• Rendimiento: TextReg superó consistentemente a las líneas base (Zero-shot CoT, TextGrad y REVOLVE) en generalización OOD.
  • Logró ganancias de precisión de hasta +11.8% sobre TextGrad y +16.5% sobre REVOLVE en benchmarks específicos.
  • Cabe destacar que, mientras los métodos de línea base a menudo degradaban la precisión OOD por debajo de la línea base CoT no optimizada (exhibiendo sobreajuste), TextReg preservó y extendió los beneficios de generalización de CoT.
• Ablación: Eliminar cualquiera de los tres componentes principales resultó en una caída consistente del rendimiento, confirmando su necesidad conjunta.
• Resiliencia: TextReg mantuvo un rendimiento sólido incluso cuando los LLM que impulsaban roles específicos (purificación de gradientes, análisis de regularización o reescritura de prompts) se degradaron a modelos más débiles, lo que sugiere que la señal de regularización es estructural y no está limitada por la capacidad.

Significado y Afirmaciones

El artículo afirma que el sobreajuste distribucional de prompts es fundamentalmente un fallo de eficiencia de representación, no meramente un artefacto de la dinámica de optimización. Al tratar la optimización de prompts a través de la lente de la regularización, específicamente controlando el crecimiento del costo de capacidad y la estrechez de alcance, TextReg proporciona un mecanismo principiado para producir prompts que generalizan más allá de la distribución de entrenamiento.

Los autores posicionan este trabajo como un avance metodológico que hace que el comportamiento de los prompts sea más predecible y fácil de auditar. Señalan explícitamente las limitaciones actuales: el marco se dirige al razonamiento de un solo turno con reglas de comportamiento bien definidas, dejando la generación abierta, los prompts de múltiples turnos y las instrucciones de agentes (donde las estructuras de reglas se difuminan) para trabajos futuros.