🤖 AI

LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents

LatentSkill es un marco de trabajo que convierte habilidades textuales en adaptadores LoRA plug-and-play a través de una hiperred preentrenada, permitiendo que los agentes de LLM almacenen procedimientos de tareas reutilizables en el espacio de pesos en lugar del espacio de contexto, lo que reduce significamente la sobrecarga de tokens al tiempo que mejora el rendimiento y permite la composición modular de habilidades.

Autores originales: Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje de gran tamaño se han vuelto notablemente capaces de razonar a través de problemas complejos, actuando a menudo como agentes digitales que pueden planificar, buscar e interactuar con el software para completar tareas. Para manejar trabajos especializados, estos agentes dependen frecuentemente de "habilidades" (skills)—esencialmente instrucciones o procedimientos escritos que le dicen al modelo cómo resolver un tipo específico de problema, como organizar una habitación virtual o responder a una pregunta de varios pasos. Tradicionalmente, estas habilidades se introducen directamente en la entrada del modelo cada vez que necesita usarlas, de forma muy parecida a leer la página de un manual paso a paso antes de realizar una acción. Si bien esto funciona, crea un cuello de botella significativo: cuanto más complejo es el proceso y más grande es la biblioteca de habilidades, más texto debe procesar el modelo, lo que lo ralentiza y consume enormes cantidades de potencia de cómputo. Además, mantener estas instrucciones como texto plano en la entrada las deja expuestas y vulnerables a ser malinterpretadas o secuestradas por otras partes del sistema.

Investigadores de la Universidad Jiao Tong de Shanghái y del Instituto de Investigación de OPPO han propuesto un enfoque diferente llamado LatentSkill, que traslada estas instrucciones fuera de la entrada de texto y hacia la estructura de memoria interna del modelo. En lugar de leer la descripción de una habilidad cada vez, el sistema utiliza un generador especializado para convertir el texto de una habilidad en un conjunto compacto de ajustes internos, conocidos como adaptadores, que se adhieren permanentamente al cerebro del modelo. Esto permite que el agente "sepa" la habilidad sin tener que leer las instrucciones de nuevo. El equipo descubrió que este método no solo acelera el proceso y reduce la cantidad de datos que el modelo necesita manejar, sino que también crea un espacio oculto y organizado donde diferentes habilidades pueden mezclarse y combinarse con precisión matemática.

La idea central detrás de este trabajo es tratar una habilidad no como un documento para ser leído, sino como un conjunto de pesos para ser cargados. En su marco de trabajo, un "compilador de habilidades" toma la descripción escrita de una tarea y genera instantáneamente un conjunto único de modificaciones internas para el modelo de lenguaje. Estas modificaciones son pequeñas, eficientes y modulares, lo que significa que pueden adjuntarse o desprenderse del modelo principal sin necesidad de reentrenar todo el sistema. Una vez que una habilidad se convierte en este formato interno, el texto original se descarta del flujo de entrada. El modelo opera entonces utilizando estos ajustes ocultos, que guían su comportamiento de manera tan efectiva como lo haría el texto, pero sin el pesado costo de procesar miles de palabras adicionales por cada paso de una tarea.

Para probar esto, los investigadores aplicaron su sistema a dos desafíos distintos: una simulación basada en texto de un robot navegando por una casa para completar tareas domésticas, y una serie de tareas complejas de respuesta a preguntas que requieren buscar a través de múltiples fuentes de información. En la tarea de navegación por la casa, el sistema tuvo que descifrar cómo recoger objetos, limpiarlos y colocarlos en ubicaciones específicas. En la tarea de respuesta a preguntas, tuvo que encontrar respuestas que requerían conectar varias piezas de información. Al compararse con el método estándar de pegar las instrucciones de la habilidad en el prompt, el nuevo enfoque resultó significativamente más eficiente. En las tareas de navegación por la casa, el sistema mejoró su tasa de éxito en más de veinte puntos porcentuales en tareas familiares y en más de trece puntos en tareas nuevas y no vistas, todo ello utilizando casi dos tercios menos de tokens de entrada. En los benchmarks de respuesta a preguntas, logró una tasa de precisión más alta reduciendo el número de tokens procesados por paso en más del setenta por ciento.

Más allá de solo ahorrar tiempo y recursos, los investigadores descubrieron que estos ajustes de habilidades internos poseen una estructura sorprendente. Cuando mapearon el espacio matemático donde viven estas habilidades, encontraron que las habilidades pertenecientes a una misma categoría, como tareas de limpieza o tareas de búsqueda, se agrupaban naturalmente, formando grupos distintos. Esto sugiere que el sistema no solo está memorizando texto, sino que está aprendiendo la lógica subyacente de los procedimientos. Esta estructura permite un alto grado de control; los investigadores descubrieron que podían ajustar la fuerza de una habilidad simplemente girando un dial, representado por un número de escala. Si el número era demasiado bajo, la habilidad no tenía efecto; si era demasiado alto, el modelo se confundía. Sin embargo, en el ajuste adecuado, el modelo funcionaba de manera óptima, y este punto ideal se mantenía constante a través de diferentes tipos de tareas.

Quizás el hallazgo más intrigante fue que estas habilidades internas podían combinarse. Así como uno podría mezclar ingredientes para crear un nuevo plato, los investigadores demostraron que podían tomar los ajustes internos de dos habilidades diferentes y sumarlos para crear una nueva habilidad compuesta. Sin embargo, esto solo funcionaba de manera fiable cuando las habilidades se descomponían en sus componentes más pequeños y alineados antes de ser mezcladas. Si simplemente sumaban los bloques de habilidades completos, el resultado era a menudo menos efectivo. Al alinear cuidadosamente las partes, pudieron crear una habilidad que realizaba una secuencia compleja de acciones sin perder la capacidad de realizar los pasos individuales. Esto sugiere que el sistema puede construir comportamientos complejos ensamblando piezas modulares de conocimiento de una manera que es tanto flexible como precisa.

El estudio también destacó una ventaja significativa en seguridad. Debido a que las habilidades se almacenan como ajustes internos en lugar de texto visible, son mucho más difíciles de manipular. Cuando los investigadores probaron el sistema contra intentos de secuestrar las instrucciones o extraer el conocimiento oculto, el nuevo método resistió notablemente bien. Mientras que el enfoque tradicional basado en texto a menudo colapsaba o revelaba sus secretos cuando era atacado, la versión de habilidad interna mantuvo su rendimiento y mantuvo sus instrucciones ocultas. Esto indica que mover las habilidades del prompt visible hacia los pesos internos del modelo ofrece una forma más robusta y segura de equipar a los agentes artificiales con conocimiento especializado.

Los investigadores concluyen que este enfoque ofrece un camino práctico para construir agentes de IA más capaces y eficientes. Al desplazar el almacenamiento del conocimiento procedimental del flujo de entrada a los parámetros internos del modelo, han demostrado una forma de hacer que los agentes sean más rápidos, más seguros y mejores combinando diferentes capacidades. Los resultados sugieren que el futuro de los agentes de IA puede no residir en alimentarlos con más texto, sino en enseñarles a portar sus habilidades internamente, listas para ser desplegadas con un interruptor simple e invisible.

Resumen Técnico: LatentSkill

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) dependen cada vez más de habilidades textuales externas —procedimientos reutilizables que codifican estrategias, patrones de uso de herramientas y heurísticas— para resolver tareas complejas de largo horizonte. El diseño prevalente consiste en recuperar estas habilidades de una biblioteca e inyectarlas como texto plano en el prompt en cada paso de decisión. Aunque es modular, este enfoque sufre tres limitaciones críticas:

Sobrecarga de Contexto: La inserción repetida del texto de la habilidad consume un espacio significativo de la ventana de contexto e incrementa los costos de prellenado (prefill), particularmente a medida que las bibliotecas de habilidades crecen y las interacciones se prolongan.
Robustez: Las entradas largas pueden degradar la capacidad del modelo para utilizar de manera robusta toda la información suministrada.
Seguridad: Mantener las habilidades como contenido de prompt legible expone procedimientos patentados y crea vulnerabilidades ante ataques de secuestro de instrucciones (instruction hijacking) o extracción de habilidades.

Por el contrario, las alternativas paramétricas como el ajuste fino completo (full fine-tuning) o el aprendizaje curricular fusionan las habilidades en los pesos del modelo, lo que las hace difíciles de actualizar, eliminar o combinar de forma modular. Esto crea un trilema: los métodos existentes luchan por evitar la repetición del texto de la habilidad manteniendo la capacidad de actualizar y combinar habilidades dinámicamente durante la inferencia.

Metodología: LatentSkill

LatentSkill propone un marco que convierte las habilidades textuales de los agentes en adaptadores LoRA (Low-Rank Adaptation) modulares a través de una hiperred (hypernetwork) preentrenada, trasladando efectivamente el conocimiento de la habilidad del espacio de contexto al espacio de pesos.

Arquitectura Central

Compilador de Habilidades (Hiperred): Una hiperred basada en Transformer $G_\phi$ mapea un documento de habilidad textual $s$ a un conjunto de actualizaciones LoRA $\Delta_s$ .
$\Delta_s = G_\phi(s)$
La actualización generada sigue la forma estándar de LoRA $\Delta W_s = B_s A_s$ para los módulos objetivo (proyecciones de query, key, value, output, gate, up, down).
Mecanismo de Inferencia: En lugar de condicionar al modelo con el texto de la habilidad dentro del prompt, el adaptador generado se monta sobre el LLM de base congelado $\theta$ . El modelo predice las salidas basándose en el historial de la tarea $h_t$ y los pesos aumentados:
$p_{\theta, \phi}(y_t | h_t, s) = p_{\theta \oplus \alpha \Delta_s}(y_t | h_t)$
Aquí, $\alpha$ es un coeficiente de escala que controla la fuerza de inyección de la habilidad.

Pipeline de Entrenamiento

El marco emplea un proceso de entrenamiento de dos etapas para el compilador de habilidades, manteniendo el LLM de base congelado:

Preentrenamiento a Nivel de Documento: El compilador se entrena en un corpus de documentos de habilidades textuales ( $D_{pre}$ ) utilizando una mezcla 1:1 de objetivos de reconstrucción (reproducir el documento completo) y completitud (predecir el sufijo truncado). Esto inicializa el mapeo de texto procedimental a pesos de adaptador utilizables.
Ajuste Fino Supervisado por Trayectorias (SFT): El compilador se ajusta mediante trayectorias de agentes maestros ( $D_{sft}$ ). Para cada par de documento de habilidad y trayectoria, el mismo adaptador generado se aplica en todos los pasos de decisión. El objetivo minimiza la pérdida entre la salida del modelo adaptado y la trayectoria del maestro, fomentando que el adaptador capture información de política estable a nivel de habilidad en lugar de adaptaciones por paso.

Control y Composición en Tiempo de Inferencia

Carga Modular: Las habilidades se compilan una vez y se almacenan en caché. Durante la inferencia, un selector monta el adaptador o los adaptadores relevantes sin incluir el texto de la habilidad en el prompt.
Composición en el Espacio de Pesos: Se pueden combinar múltiples habilidades sumando sus actualizaciones LoRA: $\Delta_K = \sum \alpha_k C[k]$ .
Composición a Nivel de Componente: Para evitar la sobreamplificación de comportamientos compartidos, las habilidades pueden descomponerse en componentes semánticos (por ejemplo, principios generales frente a estrategias específicas), que se compilan independientemente y se recombinan con coeficientes de inyección específicos.

Contribuciones Clave

Propuesta de Marco de Trabajo: La introducción de LatentSkill, que convierte habilidades textuales en adaptadores LoRA modulares y plug-and-play mediante una hiperred, eliminando la necesidad de texto de habilidad en el prompt de inferencia.
Rendimiento y Eficiencia: Demostración de que LatentSkill supera al prompting de habilidades in-context directo en los benchmarks ALFWorld y Search-QA, mientras reduce significativamente la sobrecarga de contexto (tokens de prellenado).
Análisis Estructural: El hallazgo de que los LoRAs de habilidades generados exhiben una geometría semántica estructurada, permiten el control continuo mediante coeficientes de escala y admiten la aritmética composable en el espacio de parámetros cuando los componentes están semánticamente alineados.

Resultados Experimentales

El marco fue evaluado en ALFWorld (tareas de IA encarnada) y Search-QA (respuesta a preguntas de múltiples saltos), utilizando Qwen3-8B como backbone congelado.

Rendimiento en ALFWorld: LatestSkill logró tasas de éxito del 74.3% (visto) y 69.4% (no visto). Esto representa una mejora de 21.4 y 13.4 puntos respecto a la línea base de in-context skill, respectivamente. También redujo el conteo promedio de tokens de prellenado en un 63.9%.
Rendimiento en Search-QA: LatentSkill logró un Exact Match (EM) promedio de 35.6%, superando a RAG por 1.2 puntos y a la línea base de in-context skill por 3.0 puntos, mientras utilizaba un 71.8% menos de tokens por paso.
Generalización Fuera de Dominio (OOD): En el benchmark WebShop (sin trayectorias de entrenamiento), LatentSkill (SFT) obtuvo 23.9, superando significativamente a la línea base de in-context skill (6.7), lo que sugiere que compilar habilidades en el espacio latente mitiga la dilución de la atención causada por prompts largos.
Robustez: LatentSkill mantuvo un rendimiento consistente bajo perturbaciones del texto de la habilidad (parafraseo, ruido, reordenamiento) y ataques a nivel de prompt (secuestro, extracción), mientras que las habilidades in-context sufrieron caídas severas de rendimiento (por ejemplo, cayendo de 52.9% a 8.57% bajo secuestro en ALFWorld).

Significado y Reivindicaciones

El artículo postula que LatentSkill ofrece un sustrato práctico para extender los agentes de LLM abordando los compromisos de eficiencia, modularidad y seguridad de los sistemas de habilidades actuales.

Eficiencia: Al almacenar las habilidades en el espacio de pesos, el marco elimina el costo por paso de tokenizar y procesar el texto de la habilidad, permitiendo una inferencia más rápida y un menor uso de contexto.
Modularidad: A diferencia del ajuste fino, las habilidades permanecen separadas del backbone, lo que permite cargarlas, descargarlas, reemplazarlas o escalarlas sin reentrenar el modelo base.
Representación Estructurada: Los pesos LoRA generados no son meramente prompts comprimidos; forman una geometría semántica estructurada donde las habilidades se agrupan por dominio. Esta estructura permite:
- Controlabilidad: La fuerza de inyección de una habilidad puede modularse continuamente mediante el coeficiente de escala $\alpha$ .
- Componibilidad: Las habilidades pueden combinarse aritméticamente en el espacio de parámetros, siempre que sus componentes semánticos estén alineados, permitiendo la creación de comportos complejos a partir de módulos más simples.

Los autores concluyen que los pesos de las habilidades latentes proporcionan una alternativa eficiente, modular y menos expuesta que los prompts de texto plano para construir agentes de LLM robustos.