Resumen Técnico: Neologismos de Habilidades: Hacia el Aprendizaje Continuo Basado en Habilidades

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) modernos demuestran dominio sobre una amplia gama de habilidades y la capacidad de componerlas de manera flexible. Sin embargo, extender estas capacidades a nuevas habilidades de manera escalable sigue siendo un problema abierto. Los enfoques existentes enfrentan limitaciones significativas:

• Ajuste Fino y Ajuste Fino Eficiente en Parámetros (PEFT): Métodos como LoRA corren el riesgo de olvidar catastróficamente capacidades previamente dominadas y pueden introducir riesgos de seguridad.
• Enfoques Basados en Contexto: El aprendizaje en contexto (ICL) tiene expresividad limitada y está restringido por la ventana de contexto efectiva del modelo.
• Ajuste de Prompts: Aunque es efectivo para la adaptación de tareas, los prefijos aprendidos suelen ser específicos de la tarea en lugar de específicos de la habilidad. No pueden componerse ni adaptarse a nuevos entornos sin reentrenamiento, fallando en apoyar la composición cero-disparo de habilidades aprendidas independientemente.

El artículo define el Aprendizaje Continuo Basado en Habilidades como el objetivo de aprender nuevas habilidades composibles sin modificar los parámetros del modelo. Para ser práctico y escalable, este enfoque debe satisfacer tres propiedades:

1. Sin Actualización de Pesos: Las nuevas habilidades se aprenden sin alterar los parámetros del modelo congelado.
2. Transferencia Composicional: Las habilidades aprendidas deben componerse con habilidades existentes, incluidas aquellas fuera de distribución (OOD) del conjunto de entrenamiento.
3. Composición Multi-Habilidad: Múltiples habilidades aprendidas independientemente deben ser combinables cero-disparo, sin entrenamiento conjunto sobre su combinación específica.

2. Metodología: Neologismos de Habilidades

Los autores proponen Neologismos de Habilidades, un método que integra tokens suaves directamente en el vocabulario del modelo para representar conocimiento procedimental específico.

Componentes Principales

• Entrenamiento Centrado en Habilidades: A diferencia de los conjuntos de datos centrados en tareas donde las muestras dependen implícitamente de varias habilidades, los neologismos de habilidades se entrenan en conjuntos de datos donde cada muestra requiere la habilidad objetivo, mezclada con otras habilidades ya dominadas por el modelo. Esto fomenta el aprendizaje de representaciones generalmente composibles.
• Integración a Nivel de Vocabulario: Un neologismo de habilidad consiste en un conjunto de tokens suaves aprendibles (un "token de habilidad") añadido a la matriz de incrustación y al vocabulario del modelo. Estos tokens se optimizan en el conjunto de datos centrado en la habilidad mientras el resto de los parámetros del modelo permanecen congelados.
• Función de Inserción: Los tokens de habilidad se insertan en el prompt mediante una función $\phi_S$ (por ejemplo, reemplazando una palabra clave o adjuntando una instrucción) para activar la habilidad específica durante la inferencia.

Procedimiento de Entrenamiento

1. Inicialización: Se inicializa un conjunto de tokens suaves (por ejemplo, a partir de la incrustación media de tokens de operación existentes) y se añaden al vocabulario.
2. Optimización: Los tokens se entrenan utilizando retropropagación a través del modelo congelado en un conjunto de datos centrado en la habilidad. La función de pérdida (por ejemplo, entropía cruzada) se minimiza con respecto únicamente a las incrustaciones de los tokens.
3. Evaluación: El rendimiento se mide en combinaciones Dentro de Distribución (ID) (habilidad objetivo + habilidades de entrenamiento) y combinaciones Fuera de Distribución (OOD) (habilidad objetivo + habilidades retenidas).

3. Contribuciones Clave

1. Propuesta de Neologismos de Habilidades: El artículo introduce los neologismos de habilidades como una vía hacia el aprendizaje continuo basado en habilidades, motivado por evidencia empírica de que los LLM preentrenados exhiben naturalmente tokens de vocabulario asociados con conocimiento procedimental (por ejemplo, el token "XOR" codifica la operación XOR mejor que una descripción de texto).
2. Demostración de Propiedades Composicionales: En entornos algorítmicos controlados, los autores muestran que los neologismos de habilidades satisfacen las tres propiedades requeridas:
   • Aprenden sin actualizaciones de pesos.
   • Se componen exitosamente con habilidades OOD no vistas durante el entrenamiento.
   • Los neologismos de habilidades entrenados independientemente pueden componerse cero-disparo.
3. Análisis de Ablación: El artículo analiza los mecanismos detrás del éxito de los neologismos de habilidades, investigando específicamente el impacto de la capacidad del token (longitud) y la complejidad de las combinaciones de habilidades en los datos de entrenamiento.

4. Resultados Experimentales

Los autores evaluaron el método en un conjunto de datos sintético que involucra tareas de transformación de secuencias de dígitos (por ejemplo, ordenar, sumar, desplazar) utilizando un modelo Qwen2.5-0.5B ajustado finamente.

• Comparación con Línea Base: Los Neologismos de Habilidades se compararon con LoRA y el Ajuste de Prompts.
  • Transferencia Composicional (Propiedad 2): Mientras que LoRA y el Ajuste de Prompts lograron alta precisión en combinaciones ID, fallaron en generalizar a combinaciones OOD. Solo los Neologismos de Habilidades tuvieron éxito consistentemente en componer nuevas habilidades con habilidades retenidas.
  • Composición Multi-Habilidad (Propiedad 3): Los neologismos de habilidades entrenados independientemente para "SHIFT" (desplazamiento) e "INV-POL" (inversión de polaridad) se combinaron cero-disparo. Los Neologismos de Habilidades superaron significativamente a las líneas base de Aprendizaje en Contexto (ICL) en varias longitudes de secuencia, demostrando que los tokens capturan conocimiento procedimental reutilizable en lugar de depender de la extracción de patrones de ejemplos.
• Hallazgos de Ablación:
  • Capacidad del Token: Existe una compensación en la longitud del token. Aunque una mayor capacidad ayuda al aprendizaje, una capacidad excesiva (por ejemplo, longitud > 20) redujo la generalización OOD, sugiriendo que una capacidad limitada actúa como un sesgo inductivo para representaciones composibles.
  • Complejidad del Entrenamiento: El entrenamiento en composiciones más complejas (por ejemplo, combinaciones de 3 habilidades) mejoró la generalización a combinaciones OOD de 2 y 3 habilidades.
  • Inicialización: Aunque la inicialización a partir de incrustaciones de habilidades preentrenadas ofreció mejoras marginales, la inicialización aleatoria aún produjo fuertes capacidades de composición OOD.

5. Significado y Afirmaciones

El artículo afirma que los neologismos de habilidades proporcionan una vía escalable hacia el aprendizaje continuo basado en habilidades. Al aprovechar las capacidades composicionales existentes del modelo e integrar tokens suaves a nivel de vocabulario, este enfoque permite la adición incremental de nuevas habilidades sin olvidar catastróficamente ni la necesidad de reentrenamiento conjunto.

Los autores posicionan este trabajo como una prueba de concepto en un entorno experimental controlado. Reconocen limitaciones, incluida la necesidad de construir conjuntos de datos diversos centrados en habilidades, la inestabilidad inherente de la optimización al entrenar tokens suaves y el costo computacional de la retropropagación a través del modelo completo durante el entrenamiento. Sin embargo, los resultados sugieren que las intervenciones a nivel de vocabulario pueden codificar efectivamente conocimiento procedimental, permitiendo que los LLM amplíen sus capacidades de manera controlada y composible.