Resumen Técnico: SKILLC – Aprendizaje de la Internalización Autónoma de Habilidades en Agentes LLM mediante Asignación de Crédito Contrastiva

1. Declaración del Problema: Ceguera de Internalización

Los prompts de habilidades estructuradas se han convertido en un mecanismo práctico para mejorar la exploración y la eficiencia de muestras en el Aprendizaje por Refuerzo (RL) de agentes de largo horizonte. Sin embargo, existe una dicotomía en los enfoques actuales:

• RL con Habilidades Aumentadas: Los métodos retienen habilidades externas en el momento de la inferencia, optimizando el rendimiento con soporte de habilidades en tiempo de ejecución.
• RL de Internalización de Habilidades: Los métodos (por ejemplo, SKILL0) retiran las habilidades durante el entrenamiento para permitir un rendimiento autónomo, pero sufren una desajuste crítico de optimización denominado "ceguera de internalización".

En los marcos de internalización existentes, las actualizaciones de la política (por ejemplo, mediante GRPO) generan todas las trayectorias para una tarea bajo una única condición de prompt. En consecuencia, el gradiente no puede distinguir entre una trayectoria exitosa que es verdaderamente autónoma y una que es meramente dependiente de la habilidad. Incluso si un currículo sabe que una habilidad es globalmente útil, la actualización de la política refuerza el éxito bajo el régimen actual en lugar de impulsar al agente hacia el éxito sin la habilidad. Esto impide que la política aprenda a tener éxito de forma autónoma durante la fase de entrenamiento, lo que genera una brecha persistente entre el rendimiento "con habilidad" y "sin habilidad" que solo colapsa (si es que lo hace) después de un cambio de currículo rígido.

2. Metodología: El Marco SKILLC

Los autores proponen SKILLC, un marco basado en la Asignación de Crédito de Habilidad Contrastiva (CSCA). SKILLC convierte el contraste entre el rendimiento con inyección de habilidades y sin ellas en una señal de aprendizaje directa para resolver la ceguera de internalización. El marco opera mediante tres mecanismos coordinados:

A. Trayectorias Contrastivas Pareadas

Para las tareas dentro del conjunto de habilidades activo, SKILLC muestrea trayectorias pareadas dentro de la misma actualización de la política:

• Con inyección de habilidad ($\tau^+$): Generadas con un prompt de habilidad ($z=1$).
• Sin habilidad ($\tau^-$): Generadas sin el prompt de habilidad ($z=0$).
  Ambas utilizan los mismos parámetros de política $\pi_\theta$, creando un diseño auto-contrastivo. Esto permite al sistema medir la brecha contrastiva a nivel de tarea $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$. Una brecha positiva indica dependencia de la habilidad; una brecha cercana a cero indica internalización.

B. Estimador de Ventaja de Doble Flujo

Para inyectar este contraste en la optimización sin distorsionar las clasificaciones globales, SKILLC emplea un estimador de ventaja de doble flujo:

1. Flujo 1 (Clasificación Global): Preserva la ventaja relativa al grupo estándar utilizando la media y la varianza de todas las trayectorias en el lote.
2. Flujo 2 (Presión de Internalización): Aplica una corrección unidireccional basada en la brecha contrastiva.
   • Para las trayectorias con inyección de habilidad ($z=1$), la ventaja se reduce ponderando un término de corrección $C(x)$.
   • Para las trayectorias sin habilidad ($z=0$), la ventaja se aumenta ponderando $C(x)$.
   • La magnitud de la corrección $C(x)$ es proporcional a la brecha estimada $\hat{\Delta}(x)$ y a una fuerza de atribución $\lambda$.
     Este mecanismo redirige explícitamente el crédito hacia el éxito autónomo ("tener éxito sin soporte de habilidad") mientras el agente aún está aprendiendo, en lugar de esperar a un cambio de currículo.

C. Currículo Consciente de la Internalización

Una señal suavizada a nivel de validación impulsa un currículo adaptativo que controla dinámicamente tres hiperparámetros:

1. Fuerza de Atribución ($\lambda$): Escala la corrección contrastiva.
2. Asignación de Trayectorias ($\rho$): Ajusta la fracción de trayectorias con inyección de habilidades frente a las sin ellas.
3. Poda del Conjunto de Habilidades Activas: Retira monótonamente los tipos de habilidades donde la brecha de validación $\bar{\Delta}_{val}$ cae por debajo de un umbral.
   A diferencia de los métodos de horario fijo, este currículo es impulsado por datos, respondiendo al progreso real medido de la internalización.

3. Contribuciones Clave

1. Identificación de la Ceguera de Internalización: El artículo identifica que la internalización de horario fijo falla porque los gradientes de política estándar no pueden distinguir el éxito autónomo del éxito dependiente de la habilidad cuando todas las trayectorias comparten una única condición de prompt.
2. Marco SKILLC: Los autores proponen una solución que utiliza trayectorias contrastivas pareadas y un estimador de ventaja de doble flujo para hacer que la brecha de internalización sea observable y accionable en cada paso de gradiente.
3. Currículo Adaptativo: Un mecanismo impulsado por validación que modula conjuntamente la fuerza de atribución, el presupuesto de trayectorias y la jubilación de habilidades, asegurando que la retirada de habilidades se alinee con la capacidad real del agente.
4. Caracterización Crítica de la Aplicabilidad: El artículo proporciona un análisis matizado que muestra que la efectividad de CSCA depende de la calidad de la señal. Señales contrastivas fuertes producen ganancias sustanciales (por ejemplo, +33.4% en la tarea "Pick2" de ALFWorld), mientras que señales débiles en tareas con efecto techo pueden causar regresión del rendimiento.

4. Resultados Experimentales

Los experimentos se realizaron en ALFWorld (tareas domésticas basadas en texto) y WebShop (compras en línea) utilizando el modelo base Qwen2.5-7B-Instruct.

• Ganancias de Rendimiento: Sin acceso a habilidades en tiempo de ejecución, SKILLC supera la mejor línea base previa de internalización de habilidades (SKILL0) en un 5.5% en ALFWorld (85.9% $\to$ 90.6%) y en un 4.4% en WebShop (70.9% $\to$ 74.0%).
• Competitividad: SKILLC se mantiene competitivo con los métodos aumentados con habilidades (que retienen habilidades en la inferencia). En ALFWorld, iguala el rendimiento de D2Skill (un método aumentado con habilidades) a pesar de no tener acceso a habilidades durante la inferencia.
• Estudios de Ablación:
  • Eliminar las trayectorias pareadas (actualizaciones de condición única) reduce el rendimiento en un 3.3%.
  • Reemplazar la normalización de doble flujo con normalización mixta reduce el rendimiento en un 2.2%.
  • Fijar la puerta del currículo o eliminar la poda resulta en reducciones de rendimiento más pequeñas pero consistentes.
• Dinámicas de Entrenamiento: A diferencia de SKILL0, que mantiene una gran brecha entre las tasas de éxito con y sin habilidades hasta un cambio rígido, SKILLC demuestra una disminución monótona en esta brecha, cruzando cero durante la mitad del entrenamiento. Esto confirma que la política está aprendiendo autonomía de forma continua en lugar de depender de una transferencia pasiva.

5. Significado y Afirmaciones

El artículo afirma que SKILLC aborda una limitación fundamental en el RL de agentes actual: la incapacidad de optimizar para la autonomía durante el proceso de entrenamiento cuando las habilidades están presentes. Al convertir la "utilidad" de una habilidad en una señal directa de asignación de crédito para el éxito autónomo, SKILLC elimina la "ceguera de internalización" inherente a los métodos anteriores.

Los autores enfatizan que su enfoque no requiere cambiar el marco subyacente de optimización de políticas (GRPO), sino que modifica el mecanismo de asignación de crédito. El significado radica en lograr un rendimiento autónomo que rivaliza con los métodos aumentados con habilidades sin la sobrecarga en tiempo de ejecución de la recuperación de habilidades, todo ello proporcionando un mecanismo adaptativo e impulsado por datos para la jubilación de habilidades.

Limitaciones Reconocidas:
El artículo señala que SKILLC depende de inventarios de habilidades fijos y predefinidos y puede tener dificultades en entornos abiertos con relevancia dinámica de habilidades. Además, el método incurre en una sobrecarga computacional de aproximadamente el 26% en las primeras etapas de entrenamiento debido al muestreo pareado, aunque esto disminuye a medida que se retiran las habilidades. La efectividad del método también depende de la calidad de la señal contrastiva; en tareas donde el rendimiento ya está cerca del techo, la señal puede ser demasiado débil para impulsar una mayor internalización.