🤖 machine learning

Rethinking Demonstration Unlearning in Imitation Learning for Robotics

Este artículo introduce un marco de auditoría calibrado por reentrenamiento para el desaprendizaje de demostraciones en el aprendizaje por imitación en robótica que evalúa las políticas editadas a lo largo de dos ejes —la similitud conductual con un reentrenamiento completo y la evidencia de la presencia de los datos eliminados— para proporcionar una alternativa estadísticamente rigurosa y rentable al costoso reentrenamiento.

Autores originales: Jiazhuo Li, Yu Zhang, Yiming Fei, Kangkang Dong, Xiaojun Zhu, Houde Liu, Jinze Tao

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiazhuo Li, Yu Zhang, Yiming Fei, Kangkang Dong, Xiaojun Zhu, Houde Liu, Jinze Tao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que aprenden observando a los humanos se están volviendo comunes, desde brazos de fábrica que ensamblan piezas hasta dispositivos que ayudan con las tareas del hogar. Estas máquinas no vienen preprogramadas con cada movimiento posible; en su lugar, son entrenadas mediante colecciones de demostraciones en video grabadas por personas. El robot estudia estos videos y aprende a copiar las acciones que ve. Sin embargo, surge un problema fundamental cuando la persona que proporcionó la demostración cambia de opinión. Así como una persona puede retirar el consentimiento para que se utilicen sus datos, un humano podría pedir que se elimine su demostración específica de la memoria del robot. Si un robot ha aprendido un mal hábito de una demostración defectuosa, o si un usuario simplemente desea revocar el acceso, el robot necesita "desaprender" esa pieza específica de información sin olvidar todo lo demás que sabe.

La forma estándar de manejar esta solicitud es desechar el video no deseado y reentrenar al robot desde cero utilizando solo los ejemplos buenos restantes. Aunque esto funciona, es increíblemente costoso y lento, especialmente para robots complejos que requieren enormes cantidades de potencia de cómputo. Los investigadores han estado buscando atajos más económicos: métodos que puedan editar directamente el cerebro de un robot entrenado, eliminando el mal recuerdo sin el pesado costo de una reconstrucción completa. Pero una pregunta crítica quedaba sin respuesta: cuando usamos estos atajos, ¿cómo sabemos si el robot realmente ha olvidado la mala instrucción? ¿Realmente se comporta como si nunca hubiera visto ese video, o solo está fingiendo?

Un equipo de investigadores se propuso responder a esto probando estos métodos de edición en robots reales y simulaciones. Se centraron en un escenario específico donde un robot fue entrenado con 130 demostraciones de una tarea: mover una taza a un lugar específico. Treinta de esas demostraciones eran intencionalmente defectuosas, enseñando al robot a soltar la taza en la ubicación incorrecta, lo que causaba que se volcara. Los investigadores aplicaron entonces varias técnicas de edición para eliminar la influencia de esos treinta videos malos. Para ver si la edición funcionaba, no se limitaron a mirar la puntuación final del robot o a preguntar si aún podía realizar la tarea. En su lugar, construyeron una rigurosa prueba de dos partes.

La primera parte de la prueba medía el comportamiento. Los investigadores compararon al robot editado con un robot "estándar de oro" que había sido completamente reentrenado desde cero sin los videos malos. Observaron cómo se movían los robots en momentos específicos durante la tarea. Si el robot editado se movía de una manera indistinguible de la del modelo totalmente reentrenado, pasaba la prueba de comportamiento. La segunda parte de la prueba medía la evidencia. Esto consistía en comprobar si un programa informático aún podía detectar que el robot había visto originalmente los videos malos. Incluso si el robot actuaba correctamente, si un detector aún podía encontrar rastros de los datos malos en su lógica interna, la desactualización era incompleta.

Los resultados revelaron una desconexión sorprendente y preocupante. En un caso impactante, un robot editado con un método de atajo específico funcionó casi perfectamente en el hardware real. Logró mover la taza al lugar correcto en 18 de 20 intentos, igualando el rendimiento del robot costoso y totalmente reentrenado. Por todos los aspectos de cómo actuaba el robot, la mala instrucción parecía haber desaparecido. Sin embargo, cuando los investigadores realizaron la prueba de evidencia, el resultado confirmó que la edición era incompleta: el detector aún podía identificar los videos malos con total certeza, con la misma facilidad con la que podía hacerlo con el robot no editado que nunca había sido corregido. La auditoría detectó con éxito que el robot había aprendido a ocultar su error durante la tarea, pero el recuerdo de la mala instrucción permanecía profundamente incrustado en su sistema.

Por el contrario, otros métodos de edición mostraron el problema opuesto. Algunas técnicas lograron borrar la evidencia, haciendo imposible que un detector encontrara los videos malos. Sin embargo, estos mismos robots se comportaban mal, fallando en la tarea o moviéndose de maneras que eran claramente diferentes a las del modelo estándar totalmente reentrenado. Habían olvidado los datos malos, pero al hacerlo, también habían perdido la capacidad de realizar el trabajo correctamente. Los investigadores encontraron que estos dos objetivos —actuar correctamente y ocultar la evidencia— a menudo se movían en direcciones opentes. Un método que corregía el comportamiento del robot a menudo dejaba la evidencia de los datos malos intacta, mientras que un método que borraba la evidencia a menudo rompía el rendimiento del robot.

El estudio probó estas ideas a través de tres tipos diferentes de políticas de robot y dos entornos de simulación, utilizando un total de cinco condiciones distintas. En cada caso, los investigadores encontraron que ningún método de edición único lograba ambos objetivos simultáneamente. Incluso cuando un robot parecía haber desaprendido con éxito la mala instrucción, un examen más cercano revelaba que todavía estaba ocultando el recuerdo o que había perdido su capacidad para realizar la tarea. Los investigadores concluyeron que simplemente verificar si un robot realiza bien una tarea no es suficiente para probar que ha olvidado. El verdadero desaprendizaje requiere satisfacer dos condiciones separadas a la vez: el robot debe actuar como si nunca hubiera visto los datos malos, y no debe dejar rastro detectable de que alguna vez los vio.

Este hallazgo desafía la suposición actual de que el éxito de un robot en una tarea es prueba de que ha sido limpiado adecuadamente. Los investigadores demostraron que un robot puede ser "reparado" para trabajar correctamente mientras aún lleva la influencia oculta de los datos que queríamos que olvidara. También demostraron que un robot puede ser "limpiado" para ocultar su pasado mientras se vuelve inútil en su trabajo. Debido a que estos dos aspectos pueden distanciarse, el equipo argumenta que no podemos confiar en una sola prueba para declarar a un robot seguro o conforme. En su lugar, necesitamos un enfoque dual que verifique tanto sus acciones como su historial interno. Hasta que tengamos métodos que puedan satisfacer ambas condiciones al mismo tiempo, la promesa de eliminar fácilmente los datos de los cerebros de los robots permanece sin cumplir, y el riesgo de instrucciones ocultas y no eliminadas persiste.

Resumen Técnico: Replanteando el Olvido de Demostraciones en el Aprendizaje por Imitación para la Robótica

Planteamiento del Problema

El aprendizaje por imitación (IL) para la robótica depende de demostraciones humanas, pero los marcos regulatorios y éticos requieren cada vez más la capacidad de eliminar la dependencia de un modelo respecto a datos específicos retirados sin el costo prohibitivo de un reentrenamiento completo. El desafío central es definir qué significa el "olvido" para una política que opera en un sistema de retroalimentación de bucle cerrado. Las métricas actuales heredadas de la literatura de olvido de máquinas (machine unlearning) —como la pérdida de olvido o los ataques de inferencia de membresía (MIA) de un solo eje— no logran establecer si una edición ha eliminado genuinamente la influencia de demostraciones específicas de la conducta de una política. Los autores argumentan que los enfoques existentes confunden dos dimensiones distintas: comportamiento (¿actúa la política como si hubiera sido reentrenada sin los datos?) y evidencia (¿puede un auditor detectar que se usaron los datos?).

Metodología

El artículo propone un marco de auditoría calibrada por reentrenamiento que evalúa el olvido de demostraciones a lo largo de dos ejes independientes, calibrados contra un "contrafactual de reentrenamiento" ( $\pi^*$ ), que es la política reentrenada desde cero (o con el mismo adaptador) sobre los datos limpios restantes ( $D_r$ ).

1. Los Dos Ejes

Eje de Comportamiento: Mide la divergencia de acción entre la política editada ( $\pi_\theta$ ) y la referencia de reentrenamiento ( $\pi^*$ ) en estados emparejados. Esto se calibra mediante un "suelo" derivado de reentrenamientos independientes ( $\pi^*_i, \pi^*_j$ ). Una política se considera conductualmente consistente si su divergencia es comparable a la varianza entre reentrenamientos independientes.
Eje de Evidencia: Mide la capacidad de un auditor para distinguir la política editada de la referencia de reentrenamiento mediante inferencia de membresía. Se reporta como:
- AUC de Rango: La capacidad de clasificar a los miembros con una puntuación superior a los no miembros.
- Nivel de Pérdida Absoluta del Miembro: La relación entre la pérdida del miembro y la pérdida nula ($mem/null$).
- Perspectiva Crucial: Las estadísticas de rango son libres de escala pero ciegas al "sobreimpulso" (donde las pérdidas de los miembros se inflan más allá del nulo). Por lo tanto, se requieren tanto el rango como los niveles absolutos.

2. La Prueba de Hipótesis Conjunta

Los autores introducen una prueba conformal que combina ambos ejes en una única hipótesis de "consistencia de reentrenamiento conjunta". La prueba verifica si el vector de auditoría de una política editada es intercambiable con una flota de reentrenamientos independientes (una "flota de reentrenamiento"). Si la política editada es más atípica que los miembros de la flota, se refuta la afirmación de eliminación.

3. Diseño Experimental

El estudio evalúa tres clases de políticas a través de cinco condiciones (confirmatoria pre-registrada, enmendada, exploratoria, invalidada):

Clases de Políticas: ACT (regresión L1 por fragmentos), Diffusion Policy (DDPM) y $\pi_{0.5}$ (modelo de concordancia de flujo de visión-lenguaje-acción con LoRA).
Contaminación: 30 de 130 demostraciones enseñan un "modo incorrecto" (por ejemplo, soltar una taza en un punto desplazado, provocando que se vuelque).
Operadores:
- Redirect (Redirección): Edita los pesos hacia acciones contrafactuales limpias en estados de ramificación específicos (similar a Behavior Uncloning).
- Ascent (Ascenso): Ascenso de gradiente sobre el conjunto de olvido.
- Fine-Tuning (Ajuste Fino - FT): Entrenamiento únicamente con datos limpios (control).
Evaluación: Incluye divergencia de acción offline, ataques de membresía y ensayos de robot real con puntuación ciega (brazo AgileX PiPER) y suites de simulación (Robomic, PushT).

Resultados Clave

1. Disociación de Ejes

El hallazgo central es que los ejes de comportamiento y evidencia se disocian en ambas direcciones en los mismos puntos de control (checkpoints):

Reparación sin Olvido: El operador "redirect" en el brazo ACT restauró el éxito de la tarea del robot a 18/20 ensayos (cercano al 20/20 del reentrenamiento) y cerró el 24.9% de la brecha de acción. Sin embargo, su AUC de ataque de membresía se mantuvo en 1.000, indistinguible de la política no editada, y el nivel de pérdida absoluta del miembro no cambió. La edición reparó el comportamiento pero dejó la evidencia indistinguible de la original, fallando en moverse hacia el nulo del reentrenamiento.
Reducción de Evidencia sin Reparación: Los operadores de ascenso de gradiente pudieron reducir la evidencia basada en el rango (cruzando el nulo), pero exhibieron un comportamiento dependiente del linaje. En el linaje principal, el ascenso alejó el comportamiento del contrafactual de reentrenamiento (sobrepasando el 128% de la brecha), mientras que en otras dos semillas entrenadas independientemente, el mismo presupuesto movió el comportamiento hacia el reentrenamiento (en un 63% y 27%).
Falsos Positivos en Auditorías Estándar: Las auditorías de un solo eje estándar (por ejemplo, solo AUC de rango o éxito de la tarea) frecuentemente aceptaron ediciones que el criterio conjunto rechazó. Por ejemplo, algunos operadores lograron un AUC de rango perfecto (sugiriendo eliminación) mientras que la política permanecía conductualmente rota o la evidencia estaba inflada.

2. Validación de Hardware

En hardware de robot real ( $\pi_{0.5}$ y ACT):

La edición redirect restauró con éxito el éxito de la tarea (17/20 y 18/20 ensayos respectivamente) pero falló la auditoría de evidencia (AUC 1.000, indistinguible de la política no editada).
El ajuste fino (fine-tuning) recuperó el éxito de la tarea pero movió la conducta contrafactual offline en un 4.6% (observado específicamente en la clase $\pi_{0.5}$ ) sin cambiar la evidencia de rango, demostrando que el éxito es una manifestación de canal, no una prueba de eliminación.
Los operadores de ascenso (ascent) mostraron resultados mixtos: en el brazo PushT, el éxito mejoró entre +8.0 y +11.6 puntos a través de las semillas con dosis altas, mientras que en el brazo $\pi_{0.5}$ , el éxito fue menor que el del reentrenamiento pero mayor que el de la política no editada. En todos los casos, el ascenso no logró la consistencia de reentrenamiento conjunta.

3. Rechazo Conformal

Utilizando una flota de 19 reentrenamientos independientes, la prueba conformal rechazó cada uno de los puntos de control auditados con $p=0.05$ . Ninguna edición probada logró la "consistencia de reentrenamiento conjunta" (comportamiento simultáneo en el suelo y evidencia en el nulo).

Significancia y Reivindicaciones

El artículo sostiene que la eliminación equivalente al reentrenamiento es una conjunción, no una puntuación de un solo eje.

Reivindicación Estructural: Una eliminación válida requiere tanto que el comportamiento se aproxime al suelo de reentrenamiento como que la evidencia se alinee con el nulo de reentrenamiento. Ningún eje por sí solo es suficiente.
Capacidad de Auditoría: El proceso de auditoría propuesto puede refutar las afirmaciones de eliminación (al mostrar la inconsistencia con la flota de reentrenamiento), pero no puede certificarlas (ya que pasar la prueba no demuestra que la memoria haya desaparecido, sino que es consistente con el reentrenamiento).
Limitaciones de los Operadores: Los operadores actuales (redirección, ascenso, ajuste fino) son insuficientes para lograr la consistencia conjunta. La redirección repara el comportamiento pero enmascara la evidencia; el ascenso altera la evidencia pero a menudo destruye el comportamiento o crea anomalías (aunque se observaron mejoras de éxito en PushT, la consistencia conjunta no se alcanzó).
Aplicabilidad: La viabilidad de ediciones específicas (como la redirección de rama) depende de la estructura de la solicitud de eliminación (por ejemplo, si la contaminación comparte un prefijo con el soporte limpio). En algunos casos, como la contaminación de episodios completos, las ediciones localizadas no son aplicables.

Los autores concluyen que, si bien la reparación conductual es adquirible (a menudo al costo de dañar el resto o generar efectos asimétricos), lograr un "olvido" verdadero que satisfaga tanto los estándares conductuales como los de evidencia sigue siendo un desafío abierto, ya que ningún operador probado logró la consistencia de reentrenamiento conjunta. El trabajo proporciona un protocolo de auditoría riguroso y calibrado por reentrenamiento para el olvido en robótica, yendo más allá de las métricas superficiales hacia un análisis estructural de lo que realmente se elimina de una política.