💬 NLP

Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents

Este artículo presenta el Olvido de Herramientas Agéntico (ATU, por sus siglas en inglés), un marco de dos etapas que combina la supresión de conocimiento paramétrico con el aprendizaje por refuerzo a nivel de trayectoria para evitar que los agentes de modelos de lenguaje de gran tamaño recuperen información olvidada a través de herramientas externas, preservando al mismo tiempo su utilidad para el conocimiento retenido.

Autores originales: Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Baicheng Chen, Zheyuan Liu, Jingyu Zhang, Kaize Ding, Ningshan Ma, Yue Huang, Meng Jiang

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son los motores detrás de muchos asistentes digitales modernos, capaces de generar texto, responder preguntas y mantener conversaciones. Durante años, los investigadores se han centrado en enseñar a estos modelos a "olvidar" información específica, como datos privados o historias protegidas por derechos de autor, ajustando los parámetros internos que almacenan el conocimiento. Este proceso, conocido como desaprendizaje de máquinas (machine unlearning), tiene como objetivo eliminar la influencia de ciertos hechos para que el modelo ya no pueda recordarlos. Sin embargo, ha surgido una nueva complicación a medida que estos modelos evolucionan de simples generadores de texto a agentes activos. Estos agentes no dependen únicamente de su memoria interna; pueden interactuar con el mundo exterior, utilizando herramientas como motores de búsqueda web o bases de datos para encontrar respuestas en tiempo real. Este cambio crea un vacío legal: incluso si un modelo ha olvidado con éxito un hecho internamente, podría seguir recuperando ese mismo hecho de internet y presentándolo como su propia respuesta, eludiendo eficazmente el proceso de olvido.

Un equipo de investigadores ha identificado este modo de fallo específico, al que llaman "recuperación mediada por herramientas" (tool-mediated recovery), y ha desarrollado un nuevo método para cerrar la brecha. En su estudio, demostraron que las técnicas estándar para el desaprendizaje de conocimiento son insuficientes cuando el modelo se despliega como un agente con acceso a herramientas externas. Descubrieron que, aunque un modelo pudiera parecer haber olvidado una pieza de información cuando se prueba de forma aislada, podría recuperar fácilmente esa información una vez que se le permite buscar en la web o consultar datos en una base de datos. Para resolver esto, los investigadores propusieron un marco de entrenamiento de dos etapas. La primera etapa realiza el trabajo tradicional de suprimir la memoria interna de la información no deseada. La segunda etapa es más compleja; entrena al modelo en un entorno simulado donde actúa como un agente, aprendiendo a reconocer cuándo una búsqueda o una llamada a una herramienta conduciría a la información prohibida y eligiendo, en su lugar, detenerse o proporcionar una respuesta segura y que no revele datos.

Los investigadores probaron este enfoque en escenarios del mundo real que involucraban a personas famosas y libros protegidos por derechos de autor. En un conjunto de experimentos, midieron con qué frecuencia un modelo con información desaprendida revelaría accidentalmente un hecho olvidado. Cuando el modelo se utilizaba como un generador de texto estándar sin herramientas, evitaba con éxito la información. Sin embargo, una vez que se le dio acceso a herramientas de búsqueda, su capacidad para ocultar la información colapsó y comenzó a revelar los hechos olvidados a una tasa mucho mayor. Por ejemplo, en una prueba sobre figuras públicas, la tasa de divulgación accidental saltó de un nivel bajo en aislamiento a un nivel alto cuando las herramientas estaban habilitadas. Esto confirmó que las herramientas mismas estaban actuando como un canal de recuperación, permitiendo al modelo reconstruir el conocimiento que se suponía debía haber eliminado.

Para abordar esto, los investigadores aplicaron su método de dos etapas. Después del desaprendizaje interno inicial, sometieron al modelo a la segunda etapa de entrenamiento, donde practicó la interacción con herramientas en un entorno controlado. Durante esta fase, el modelo era recompensado por evitar la información prohibida incluso cuando las herramientas la proporcionaban, y penalizado por intentar usar las herramientas para encontrar esos datos específicos. Los resultados mostraron que este entrenamiento adicional redujo significamente la capacidad del modelo para recuperar la información olvidada a través de las herramientas. En las pruebas sobre figuras públicas, el método redujo la tasa de divulgación accidental por un margen sustancial en comparación con los modelos que solo pasaron por la primera etapa de desaprendizaje. Del mismo modo, en las pruebas que involucraban contenido de libros protegidos por derechos de autor, el método evitó que el modelo utilizara bases de datos locales para recuperar el texto oculto.

Crucialmente, los investigadores se aseguraron de que este nuevo método no rompiera la capacidad del modelo para funcionar normalmente. Verificaron que el modelo aún podía usar herramientas de manera efectiva para tareas que no involucraran la información prohibida, como buscar datos generales o realizar cálculos. El entrenamiento no obligó al modelo a rechazar todo uso de herramientas o a volverse inútil; simplemente le enseñó a trazar una línea, sabiendo cuándo dejar de buscar para proteger datos sensibles específicos. El estudio sugiere que, para que el desaprendizaje sea verdaderamente efectivo en la era moderna de los agentes inteligentes, debe tener en cuenta cómo estos agentes interactúan con el mundo, no solo cómo almacenan datos internamente. Al entrenar al modelo para resistir la tentación de usar herramientas para recuperar el conocimiento eliminado, los investigadores han creado una forma más robusta de asegurar que la información olvidada permanezca olvidada, incluso en un entorno digital conectado.

Resumen Técnico: Desaprendizaje de Herramientas Agénticas para Agentes LLM

Definición del Problema: Recuperación Mediada por Herramientas

El artículo identifica un modo de fallo crítico en el despliegue de los métodos de desaprendizaje de Grandes Modelos de Lenguaje (LLM). El desaprendizaje de máquinas tradicional busca eliminar información específica (el "objetivo de olvido") de los parámetros de un modelo mientras se preserva su utilidad en otras tareas. Sin embargo, los protocolos de evaluación actuales prueban principalmente el desaprendizaje en un entorno de inferencia independiente, donde el modelo responde directamente sin ayudas externas.

Los autores argumentan que esta evaluación es incompleta para los agentes aumentados con herramientas modernos. En los despliegues del mundo real, los agentes pueden llamar a herramientas externas (por ejemplo, búsqueda web, consultas a bases de datos, recuperación de documentos) para responder a consultas. El artículo define la recuperación mediada por herramientas como el fenómeno en el que un agente, a pesar de haber "olvidado" con éxito un objetivo en sus pesos paramétricos, recupera la información olvidada mediante la recuperación de la misma a través de herramientas externas e incorporándola en su respuesta final.

Esto crea un desajuste a nivel de despliegue: un modelo puede parecer desaprendido bajo una evaluación independiente (puntuaciones bajas en el conjunto de olvido), pero puede reaprender efectivamente el objetivo cuando se envuelve en un marco de agente. Deshabilitar las herramientas simplemente no es una solución viable, ya que sacrifica la utilidad amplia y la factualidad que proporciona el aumento de herramientas.

Metodología: Desaprendizaje de Herramientas Agénticas (ATU)

Para abordar esto, los autores proponen el Desaprendizaje de Herramientas Agénticas (ATU), un marco de dos etapas diseñado para suprimir tanto la recuperación paramétrica directa como la recuperación mediada por herramientas, preservando al mismo tiempo el uso normal de herramientas para el conocimiento retenido.

Etapa 1: Desaprendizaje de Conocimiento Paramétrico

La primera etapa aplica técnicas estándar de desaprendizaje paramétrico al LLM base ( $\pi_{\theta_0}$ ) utilizando un conjunto de olvido $F(c)$ y un conjunto de retención $R$ . El objetivo es suprimir la recuperación directa del objetivo de olvido. Los autores utilizan métodos existentes como el Ascenso de Gradiente (GA), el Ajuste de Rechazo (RT), la Optimización de Preferencia Directa (DPO) y la Optimización de Preferencia Negativa (NPO) para producir un modelo desaprendido intermedio ( $\pi_{\theta_1}$ ). Esta etapa asegura que el modelo no genere la respuesta objetivo basándose únicamente en sus pesos internos.

Etapa 2: Desaprendizaje de Herramientas Agénticas (RL a Nivel de Trayectoria)

La segunda etapa aborda el canal de recuperación. El modelo $\pi_{\theta_1}$ es entrenado adicionalmente en un entorno simulado aumentado con herramientas ( $E_{train}$ ) utilizando la Optimización de Política Relativa de Grupo (GRPO).

Entorno: El agente interactúa con un conjunto de herramientas (por ejemplo, búsqueda web, bases de datos locales) relevantes para los objetivos de olvido.
Recompensa a Nivel de Trayectoria: A diferencia del desaprendizaje estándar que se centra en la salida final, ATU asigna recompensas a toda la trayectoria de interacción $\tau = (x, a_1, o_1, \dots, a_K, o_K, y)$ $τ = (x, a_{1}, o_{1}, \dots, a_{K}, o_{K}, y)$ .
- Consultas de Olvido: Un juez basado en un LLM congelado califica la trayectoria. Se asignan penalizaciones altas si el agente llama a herramientas para buscar el objetivo o si la respuesta final filtra el objetivo. Se otorgan recompensas por rechazos seguros o respuestas no informativas que no revelen el objetivo, incluso si se llamaron a las herramientas.
- Consultas de Retención: Las recompensas fomentan respuestas correctas y útiles, así como el uso apropiado de herramientas para asegurar que el modelo no degenere en una política que rechace todas las consultas o deshabilite las herramientas globalmente.
Objetivo: La política se actualiza para minimizar el comportamiento de búsqueda de objetivos mediante herramientas y la filtración de la respuesta final, manteniendo al mismo tiempo una penalización de divergencia KL para permanecer cerca del modelo de la Etapa 1, preservando la utilidad general.

Contribuciones Clave

Identificación de la Recuperación Mediada por Herramientas: Los autores identifican y caracterizan formalmente un nuevo desajuste a nivel de despliegue donde los agentes aumentados con herramientas eluden el desaprendizaje paramétrico reconstruyendo el conocimiento olvidado a través de observaciones de herramientas externas.
Marco ATU: Proponen un novedoso marco de dos etapas que combina el desaprendizaje paramétrico con el aprendizaje por refuerzo a nivel de trayectoria. Este enfoque apunta específicamente al comportamiento del agente en entornos aumentados con herramientas, penalizando las llamadas a herramientas de búsqueda de objetivos y la filtración de respuestas.
Validación Empírica: Experimentos extensos a través de diferentes arquitecturas de LLM (Qwen-3-4B, Qwen-2.5-7B, Qwen-3-8B) y benchmarks (RWKU, MUSE) demuestran que ATU reduce significativamente la recuperación mediada por herramientas manteniendo la utilidad retenida y las capacidades generales de uso de herramientas.

Resultados Experimentales

El artículo evalúa ATU en los benchmarks RWKU (Real-World Knowledge Unlearning) y MUSE (Machine Unlearning Six-way Evaluation).

Brecha de Recuperación: Los experimentos confirman la existencia de la brecha de recuperación. Por ejemplo, en RWKU con Qwen-3-4B, un modelo desaprendido mediante NPO (Etapa 1) redujo su puntuación del conjunto de olvido de 57.7 a 44.6 en modo independiente. Sin embargo, al ser desplegado como agente, la puntuación rebotó a 68.6, casi igualando el rendimiento del modelo base.
Eficacia de ATU: La aplicación de la Etapa 2 (ATU) mitigó significativamente esta recuperación. La configuración NPO + Etapa 2 redujo la puntuación del conjunto de olvido en el despliegue de agente a 47.5, una reducción de 21.1 puntos en comparación con el agente de la Etapa 1. Mejoras similares se observaron en otros métodos de desaprendizaje (GA, DPO, RT) y tamaños de modelo.
Preservación de la Utilidad: El marco preservó con éxito la utilidad. Los modelos de la Etapa 2 mantuvieron puntuaciones altas en conocimiento vecino (localidad), factualidad, fluidez y razonamiento general (MMLU, BBH). Crucialmente, los modelos conservaron la capacidad de usar herramientas para tareas independientes del objetivo (por ejemplo, cálculo de hash, consultas a bases de datos no relacionadas con el objetivo de olvido), demostando que ATU no suprime globalmente el uso de herramientas.
Generalización: El método se generalizó a través de diferentes modelos de base y conjuntos de herramientas. Incluso cuando las herramientas de recuperación se intercambiaron por APIs alternativas (por ejemplo, reemplazando ddg-search con Tavily), ATU continuó reduciendo la recuperación mediada por herramientas, lo que indica que aprende un comportamiento general de evitar la búsqueda de objetivos en lugar de sobreajustarse a nombres de herramientas específicos.

Significado y Reivindicaciones

El artículo afirma que el desaprendizaje de conocimiento paramétrico por sí solo es insuficiente para un despliegue seguro en entornos de agentes aumentados con herramientas. La evaluación estándar del desaprendizaje en salidas independientes sobreestima la robustez porque ignora el canal de recuperación proporcionado por las herramientas externas.

La importancia de ATU radica en su capacidad para alinear el desaprendizaje con la realidad del despliegue de agentes. Al entrenar al modelo para reconocer y evitar trayectorias de búsqueda de objetivos (incluyendo llamadas a herramientas y observaciones), ATU proporciona una defensa más robusta contra la filtración de información. Los autores posicionan este trabajo como un paso necesario hacia agentes de LLM más seguros, asegurando que los requisitos de desaprendizaje (como la privacidad o el cumplimiento de derechos de autor) se mantengan incluso cuando el modelo se integra en flujos de trabajo complejos habilitados con herramientas.

El artículo mantiene la modestia respecto a las limitaciones, reconociendo que ATU no siempre logra cerrar completamente la brecha con los niveles de rendimiento independiente y que la política aprendida aún puede filtrar información si las observaciones de las herramientas son explícitas o si el entorno de despliegue difiere significativamente de la simulación de entrenamiento. Sugieren que trabajos futuros podrían involucrar monitores en tiempo de ejecución o control de acceso al lado de la herramienta para fortalecer aún más estas defensas.