Resumen Técnico: UG-TTT (Entrenamiento en Tiempo de Ejecución Guiado por Incertidumbre)

Enunciado del Problema

El descubrimiento científico automatizado utilizando Modelos de Lenguaje Grandes (LLM) enfrenta una limitación estructural: mientras que el aprendizaje por refuerzo (RL) estándar puede mejorar el rendimiento promedio, a menudo falla en descubrir soluciones genuinamente novedosas, provocando que la recompensa máxima alcanzable se estanque prematuramente. Este fenómeno, denominado colapso de modos, ocurre porque los objetivos estándar de RL maximizan la recompensa esperada, lo que penaliza inherentemente las mutaciones de alta varianza. En consecuencia, la política converge hacia patrones "seguros" y familiares encontrados en los datos de entrenamiento, en lugar de explorar las regiones escasas y de alta recompensa en la frontera del conocimiento.

Los intentos existentes para mitigar esto, como bonos de entropía o ponderación basada en la confianza, dependen de una única red entrenada. Estos métodos fallan en distinguir entre incertidumbre aleatoria (ambigüedad de entrada irreductible) e incertidumbre epistémica (brechas en el conocimiento aprendido del modelo). Para el descubrimiento científico, esta confluencia es fatal; la política desperdicia capacidad de cómputo en territorio ambiguo pero familiar, en lugar de la frontera del conocimiento genuina donde ocurren los avances. Además, los sistemas existentes de entrenamiento en tiempo de ejecución (TTT) a menudo sufren de colapso de diversidad, donde múltiples adaptadores o trayectorias convergen hacia configuraciones de peso idénticas, anulando cualquier señal de exploración.

Metodología: UG-TTT

Los autores proponen UG-TTT (Entrenamiento en Tiempo de Ejecución Guiado por Incertidumbre), un marco diseñado para mantener la diversidad del conjunto y dirigir la exploración hacia posiciones de alta incertidumbre epistémica. El método extiende la línea base TTT-DISCOVER con tres componentes acoplados:

1. Incertidumbre Epistémica mediante Conjuntos de LoRA

En lugar de un único adaptador, UG-TTT mantiene un conjunto de $K$ adaptadores de bajo rango (LoRA) sobre un modelo base compartido y congelado. Cada adaptador $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ se trata como una muestra independiente de una posterior variacional.

• Señal: El sistema calcula la Información Mutua (MI) a nivel de token para cuantificar la incertidumbre epistémica. Esto se define como la diferencia entre la entropía de la distribución de mezcla del conjunto y la entropía promedio de los adaptadores individuales:
  $$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$$
• Interpretación: Una MI alta indica que los miembros del conjunto no se ponen de acuerdo sobre el siguiente token, señalando una región que el modelo aún no ha resuelto (alta incertidumbre epistémica). Una MI baja indica acuerdo, incluso si los tokens son ambiguos (incertidumbre aleatoria).
• Agregación: Para centrarse en la señal significativa, la MI se promedia solo sobre el 7% superior de los tokens más inciertos en una ejecución, filtrando el relleno sintáctico donde los adaptadores se ponen de acuerdo trivialmente.

2. Ventaja Moldeada por Incertidumbre

La señal cruda de MI se integra en el gradiente de la política como un bono de exploración.

• Normalización: La puntuación de MI se estandariza dentro de cada grupo de ejecuciones para garantizar la invarianza de escala entre tareas.
• Acoplamiento Dinámico: El coeficiente de exploración se acopla a una temperatura entrópica adaptativa $\beta(s)$, que mide la confianza de la política. A medida que la política se afila (indicando un potencial colapso de modos), la presión de exploración aumenta automáticamente. Esto asegura que el bono se aplique precisamente cuando la política corre el riesgo de converger hacia un conjunto estrecho de soluciones.
• Función de Pérdida: La ventaja moldeada $A^{shaped}_i$ reemplaza a la ventaja estándar en la pérdida de muestreo de importancia recortada, dirigiendo la política hacia posiciones de alta MI.

3. Regularizador de Diversidad en Subespacio (NNM)

Para evitar que los adaptadores del conjunto colapsen en configuraciones de peso idénticas (lo que llevaría la MI a cero), los autores introducen un regularizador de Maximización de la Norma Nuclear (NNM).

• Mecanismo: El regularizador maximiza la norma nuclear (suma de los valores singulares) de las matrices de proyección hacia abajo apiladas ($A^{(k)}$) a través del conjunto.
• Garantía Teórica: Los autores demuestran (Proposición 2) que bajo una restricción de norma de Frobenius fija, el máximo global de la norma nuclear se alcanza cuando los espacios fila de los adaptadores son mutuamente ortogonales. Esta condición geométrica asegura que cada adaptador atiende a un subespacio de entrada distinto, preservando la no trivialidad de la descomposición BALD (Aprendizaje Activo Bayesiano por Desacuerdo).

Contribuciones Clave

1. Descomposición de la Incertidumbre: El artículo demuestra que medir el desacuerdo entre hipótesis de peso adaptadas independientemente (mediante conjuntos de LoRA) es necesario para aislar la incertidumbre epistémica, una señal ausente en los enfoques de red única.
2. Regularización Novel: La introducción del regularizador de Maximización de la Norma Nuclear se identifica como el mecanismo crítico para sostener la diversidad del conjunto. Sin él, los adaptadores convergen hacia soluciones idénticas dentro de dos épocas, haciendo que la señal de exploración desaparezca.
3. Entrenamiento en Tiempo de Ejecución Eficiente: UG-TTT logra estas ganancias con un pequeño conjunto de adaptadores de bajo rango, evitando el costo computacional de la replicación completa del modelo mientras mantiene una posterior distinta sobre los pesos.

Resultados Experimentales

El método se evaluó en cuatro puntos de referencia de descubrimiento científico (AC1, AC2, CP26 y Erdős) utilizando un modelo Qwen3-8B.

• Recompensa Máxima: UG-TTT mejoró la recompensa máxima ($R_{max}$) en tres de las cuatro tareas en comparación con la línea base TTT-DISCOVER. En la cuarta tarea (Erdős), igualó el techo de la línea base mientras descubría soluciones cualitativamente distintas.
• Preservación de la Diversidad: Mientras que la entropía de la familia de soluciones de la línea base colapsó a $\approx 0.65$ bits para la época 5, UG-TTT mantuvo una entropía de $\approx 1.42$ bits. Esto indica que el modelo continuó explorando familias algorítmicas diversas en lugar de converger hacia una única estrategia "segura".
• Descubrimiento de Soluciones Novedosas:
  • AC1: UG-TTT descubrió el objetivo de Cauchy-Schwarz ($\sqrt{2n}$) en 18/30 ejecuciones principales, mientras que la línea base lo encontró en solo 1/30.
  • AC2: La línea base no logró utilizar scipy.optimize.differential_evolution (0/30 ejecuciones principales), mientras que UG-TTT lo utilizó en 13/30, logrando una recompensa más alta.
  • Erdős: UG-TTT descubrió una estrategia de inicialización basada en Fourier a la que la línea base nunca accedió.
• Eficiencia: UG-TTT alcanzó el techo de vanguardia en CP26 en 384 ejecuciones, significativamente menos que las 25.600 ejecuciones requeridas por la línea base.

Significado y Afirmaciones

El artículo afirma que el colapso de diversidad en el descubrimiento en tiempo de ejecución es una consecuencia estructural de la optimización de recompensa escalar con un solo modelo. Al introducir una señal de información mutua basada en conjuntos acoplada con un regularizador de norma nuclear, UG-TTT dirige con éxito la política hacia la "frontera del conocimiento" donde es posible un descubrimiento genuino.

Los autores enfatizan que el regularizador de norma nuclear es el "componente de carga" del sistema; los estudios de ablación confirman que su eliminación hace que la señal de incertidumbre colapse y revierte el sistema al comportamiento estándar de RL. El trabajo sugiere que mantener la ortogonalidad del subespacio entre adaptadores es una condición necesaria para sostener la exploración en tareas de descubrimiento científico con recompensas escasas.

El artículo se mantiene modesto respecto a la generalización, señalando que los resultados se basan en un modelo específico (Qwen3-8B), una única configuración de GPU y un número fijo de adaptadores ($K=5$). Reconoce que el mecanismo de parada temprana en flujo requería calibración empírica para tareas específicas y que su portabilidad a verificadores ruidosos o aprendidos requeriría recalibración.