AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

AutoSkill es un marco de aprendizaje continuo impulsado por la experiencia que permite a los agentes de LLM derivar, mantener y reutilizar automáticamente habilidades de las interacciones del usuario sin reentrenar el modelo, transformando así experiencias efímeras en capacidades explícitas y reutilizables.

Lo esencial

Imagina que tienes un asistente personal muy inteligente (como un gran modelo de lenguaje o IA), pero tiene un problema: tiene una memoria de pez dorado.

Cada vez que le pides algo nuevo, olvida lo que le dijiste ayer. Si le dices: "No uses palabras técnicas", mañana volverá a usarlas. Si le pides que escriba como un abogado, al día siguiente hablará como un niño. Tienes que repetir las mismas instrucciones una y otra vez, como si estuvieras enseñándole a un perro nuevo cada mañana.

AutoSkill es la solución a este problema. Es un sistema que convierte a ese asistente con memoria de pez en un maestro aprendiz que recuerda y mejora con el tiempo, sin necesidad de volver a estudiar desde cero.

Aquí te explico cómo funciona usando analogías sencillas:

1. El Problema: La "Memoria de Papel" vs. El "Libro de Recetas"

Hasta ahora, los asistentes guardaban tus conversaciones como si fueran notas sueltas en un montón. Si querías que hiciera algo específico, tenías que buscar en ese montón de papeles y decirle: "Oye, mira esta nota de hace dos semanas, hazlo así".

El problema es que esas notas son desordenadas. A veces el asistente las ignora o no entiende que esa "nota" es una regla que debe seguir siempre.

AutoSkill cambia esto. En lugar de guardar notas sueltas, toma tus preferencias y las convierte en Tarjetas de Habilidades (Skill Cards).

• La analogía: Imagina que en lugar de tener un montón de correos electrónicos sobre cómo quieres que se vea tu informe, tienes un Libro de Recetas bien organizado.
• Si te gusta que tus correos sean cortos y amables, AutoSkill crea una "receta" llamada Estilo de Correo Amable.
• Si te gusta que el código de programación tenga comentarios específicos, crea una receta llamada Estilo de Código Limpio.

2. El Proceso: Cómo Aprende el Asistente

AutoSkill funciona en dos bucles (dos círculos de acción) que ocurren al mismo tiempo:

A. El Bucle de "Usar la Habilidad" (Cuando hablas con él)

Cuando le haces una pregunta, el sistema no solo busca en tu historial de chat. Primero, mira su Libro de Recetas.

• Analogía: Imagina que vas a cocinar. Antes de empezar, el chef (la IA) revisa su libro de recetas para ver si tienes una preferencia especial (ej: "Sin gluten").
• Si detecta que estás pidiendo algo relacionado con "redacción profesional", busca la tarjeta Estilo Profesional, la lee y la usa para escribir tu respuesta.
• Resultado: La respuesta es perfecta desde el primer intento porque ya conoce tus reglas.

B. El Bulo de "Crear Nuevas Habilidades" (Después de hablar)

Aquí está la magia. Después de que terminan de hablar, el sistema analiza lo que pasó.

• Si notó que te gustó mucho una forma específica de responder, o que te molestó algo, no lo guarda como un simple recuerdo.
• Lo transforma en una nueva tarjeta de habilidad o actualiza una existente.
• La analogía: Imagina que el chef prueba tu plato y ves que le falta sal. En lugar de solo anotar "le faltó sal" en un diario, el chef actualiza la receta en el libro. La próxima vez que cocine ese plato, sabrá exactamente cuánta sal poner sin que tú se lo digas.
• Además, estas tarjetas tienen versiones (v1.0, v1.1, v1.2). Si una vez te gustó un estilo y luego cambiaste de opinión, la receta se actualiza, no se duplica.

3. ¿Por qué es tan especial? (La parte "Mágica")

La mayoría de los sistemas de IA necesitan ser "reentrenados" (estudiar miles de libros de nuevo) para aprender algo nuevo. Eso es caro, lento y difícil.

AutoSkill es como un sistema de "Lentes" o "Chalecos" que se le pone al asistente:

• No toca el cerebro del asistente (no cambia sus parámetros internos).
• Solo le da un chaleco de herramientas con sus reglas personalizadas.
• Puedes quitar el chaleco, cambiarlo, editar las reglas con un editor de texto simple (como un archivo .md), y volver a ponérselo.
• Ventaja: Es transparente. Tú puedes ver la "receta" y decir: "Oye, en esta receta de redacción, quita la parte de los emojis". Y listo, el asistente lo cambia al instante.

4. Ejemplos Reales (Lo que puede hacer)

El papel muestra ejemplos de cómo esto funciona en la vida real:

• El Psicólogo: Si siempre pides que el asistente sea empático y no dé diagnósticos médicos, crea una tarjeta "Counselor Empático" que recuerda siempre ser amable y evitar consejos médicos.
• El Programador: Si siempre pides scripts de Python con comentarios específicos, crea una tarjeta "Script Python Limpio" que genera código perfecto según tus reglas cada vez.
• El Roleplay: Si te gusta que hable como un "Gato" (con "miau" y llamándote "amo"), crea una tarjeta "Gato Parlante" que mantiene ese personaje en todas las conversaciones.

En Resumen

AutoSkill es un sistema que convierte tus conversaciones pasajeras en reglas permanentes y editables.

En lugar de tener un asistente que olvida todo, tienes un asistente que aprende tus gustos, los escribe en un libro de instrucciones y los sigue religiosamente, mejorando ese libro cada vez que interactúas con él. Es como tener un empleado que no solo recuerda lo que le dijiste ayer, sino que actualiza su manual de operaciones cada día para ser más útil para ti mañana.

La frase clave: Convierte la experiencia efímera (lo que pasa ahora) en capacidades reutilizables (lo que siempre funcionará).

Resumen técnico

Resumen Técnico: AutoSkill

1. Planteamiento del Problema

En las aplicaciones prácticas de los Modelos de Lenguaje Grande (LLM), los usuarios expresan repetidamente preferencias y requisitos estables (por ejemplo, evitar alucinaciones, seguir convenciones de escritura institucionales, evitar jerga técnica excesiva o adherirse a flujos de trabajo específicos). Sin embargo, la experiencia de interacción actual rara vez se consolida en conocimiento reutilizable.

• Limitación actual: Los agentes LLM a menudo fallan en acumular capacidades personalizadas entre sesiones. Las soluciones existentes se dividen en dos categorías con desventajas:
  • Actualización de parámetros: Es costosa, difícil de controlar y poco práctica para la personalización frecuente y granular.
  • Memoria basada en recuperación (RAG): Trata la interacción pasada como texto a recuperar, no como comportamiento operacionalizable. Los hábitos del usuario deben reestablecerse desde cero en cada nueva sesión.
• El vacío: Falta un mecanismo que convierta la experiencia de interacción recurrente en habilidades explícitas, reutilizables y mantenibles.

2. Metodología: AutoSkill

AutoSkill es un marco de aprendizaje continuo impulsado por la experiencia que permite a los agentes LLM derivar, mantener y reutilizar habilidades automáticamente sin reentrenar el modelo subyacente.

Arquitectura y Principios Clave:

• Enfoque sin entrenamiento (Training-Free): No se actualizan los parámetros del modelo. Todo el aprendizaje ocurre mediante la construcción, recuperación y refinamiento de una memoria externa de habilidades.
• Representación Explícita: Las habilidades se cristalizan en artefactos estructurados denominados SKILL.md. Estos contienen nombre, descripción, instrucciones ejecutables (prompts), conjuntos de disparadores (triggers), etiquetas, ejemplos y control de versiones.
• Dos Bucles Acoplados:
  1. Generación de Respuesta Mejorada por Habilidades:
     • Reescritura de Consultas: Se reformula la entrada del usuario para optimizar la recuperación.
     • Recuperación Híbrida: Combina puntuaciones semánticas densas (embeddings) y léxicas (BM25) para encontrar las habilidades más relevantes en el banco de habilidades (SkillBank).
     • Generación Condicionada: Las habilidades recuperadas se inyectan en el contexto del prompt del LLM para guiar la respuesta sin mencionar explícitamente la recuperación.
  2. Evolución de Habilidades (Aprendizaje):
     • Extracción: Analiza las consultas del usuario (no las respuestas del modelo) para identificar patrones estables y extraer candidatos a habilidades.
     • Gestión y Decisión: Un módulo juez decide si el candidato debe añadirse (nueva habilidad), fusionarse (refinar una existente) o descartarse (ruido o solicitud única).
     • Fusión con Control de Versiones: Si se fusiona, el sistema actualiza el artefacto existente incrementando su número de versión (ej. 0.1.0 -> 0.1.1), integrando nuevas restricciones o ejemplos sin duplicar la habilidad.

Componentes del Sistema:

• Capa de Abstracción: Artefactos SKILL.md que materializan el comportamiento aprendido.
• Capa de Gestión: Extractor y mantenedor que gestionan el ciclo de vida (añadir, fusionar, descartar).
• Capa de Almacenamiento y Recuperación: SkillBank local con índices vectoriales para búsqueda eficiente.
• Capa de Servicio: SDK, interfaz web y proxy compatible con OpenAI para integración en tiempo real.

3. Contribuciones Clave

1. Formulación del Problema: Define la transformación de la experiencia de interacción en habilidades reutilizables explícitas para agentes LLM personalizados.
2. Ciclo de Vida de la Habilidad: Propone un proceso completo de extracción, representación estructurada, refinamiento iterativo, recuperación y reutilización que permite la evolución continua sin modificar el modelo base.
3. Artefactos Editables y Versionados: A diferencia de las memorias implícitas, las habilidades son archivos editables (SKILL.md) que mejoran la transparencia, el control y la mantenibilidad a largo plazo.
4. Implementación de Código Abierto: Entregan un sistema desplegable que se integra con pipelines de agentes existentes, ofreciendo una vía práctica hacia agentes personalizados de por vida.

4. Resultados y Análisis Experimental

El equipo evaluó AutoSkill utilizando el corpus WildChat-1M (interacciones reales con ChatGPT), filtrando conversaciones de más de 8 turnos y dividiéndolas en subconjuntos (Chino/Inglés, GPT-3.5/GPT-4).

• Estadísticas del Banco de Habilidades:
  • Se extrajeron miles de habilidades de conversaciones masivas.
  • Las etiquetas más frecuentes incluyen programación (python, javascript, c++), tareas de datos (pandas, excel) y escritura creativa.
  • Se identificaron habilidades específicas para plataformas (Twitter, Instagram, Xiaohongshu) y roles (asesor psicológico, maestro de Bazi, escritura de notas de "redes sociales").
• Evolución y Versionado:
  • Se demostró que las habilidades evolucionan a diferentes ritmos. Por ejemplo, la habilidad de "reescritura de texto profesional" alcanzó la versión 0.1.34 tras 34 iteraciones de refinamiento, mientras que habilidades más estáticas permanecieron en versiones iniciales.
  • Esto confirma que el mecanismo de fusión evita la duplicación y consolida el feedback en un único artefacto.
• Casos de Uso:
  • Se presentaron ejemplos exitosos de habilidades complejas, como un "Asesor Psicológico de Alto Nivel" (que mantiene tono, empatía y restricciones éticas) y un "Generador de Scripts Selenium" (que codifica flujos de trabajo técnicos complejos).

5. Significado e Impacto

AutoSkill representa un cambio de paradigma en el aprendizaje continuo de agentes de IA:

• De la Memoria a la Habilidad: Cambia la unidad de acumulación de registros de memoria crudos a unidades de conocimiento conductual explícito.
• Transparencia y Control: Al externalizar el conocimiento en archivos editables, permite la supervisión humana, la auditoría y la edición directa, algo imposible con la adaptación de parámetros ocultos.
• Escalabilidad y Despliegue: Ofrece una ruta práctica para crear "sustitutos digitales personales" que aprenden de los hábitos del usuario sin requerir infraestructura de reentrenamiento costosa.
• Interoperabilidad: Al ser agnóstico al modelo y funcionar como una capa de plugin, puede mejorar cualquier sistema LLM existente, cerrando el ciclo entre la experiencia, el mantenimiento y la reutilización.

En conclusión, AutoSkill demuestra que es posible lograr agentes personalizados de por vida mediante la evolución de habilidades externas en lugar de la modificación interna del modelo, logrando una adaptación más rápida, controlable y transparente a las preferencias del usuario.