🤖 machine learning

Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning

Este artículo propone la Edición de Conocimiento en Contexto Multiobjetivo (MO-IKE, por sus siglas en inglés), un algoritmo de aprendizaje por refuerzo multiobjetivo que formula la construcción de prompts como un Proceso de Decisión de Markov Restringido para optimizar simultáneamente la fiabilidad, la generalidad y la especificidad, logrando así un rendimiento superior en la actualización del conocimiento de los LLM en comparación con métodos previos.

Autores originales: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

Publicado 2026-08-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje de gran tamaño son los motores detrás de una nueva generación de inteligencia artificial, capaces de escribir historias, resolver problemas y responder preguntas con una fluidez que a menudo imita el pensamiento humano. Sin embargo, estos sistemas tienen una limitación fundamental: su conocimiento está congelado en el tiempo. Una vez que un modelo termina su entrenamiento inicial, los hechos que posee se vuelven estáticos. Si un modelo fue entrenado antes de los Juegos Olímpicos de Invierno de 2026, no conocerá el recuento final de medallas, sin importar cuántas veces se le pregunte. Actualizar este conocimiento suele requerir un proceso de reentrenamiento masivo y costoso que es poco práctico para la mayoría de los usuarios. Para solucionar esto, los investigadores han desarrollado una técnica llamada edición de conocimiento en contexto. En lugar de cambiar el código interno del modelo, este método proporciona al modelo un conjunto de ejemplos en el mensaje de la conversación, enseñándole efectivamente un nuevo hecho durante la duración de esa interacción específica. El desafío radica en construir el conjunto de ejemplos perfecto: debe ser lo suficientemente fuerte como para obligar al modelo a aceptar el nuevo hecho, lo suficientemente flexible como para funcionar incluso si la pregunta se formula de manera diferente, y lo suficientemente preciso como para asegurar que el modelo no olvide o altere accidentalmente hechos no relacionados que ya conoce.

Un equipo de investigadores ha introducido ahora un nuevo sistema llamado MO-IKE que mejora significativamente cómo se construyen estos mensajes. Los intentos previos de automatizar este proceso dependían del aprendizaje por refuerzo, un método donde un programa informático aprende mediante ensayo y error. Si bien estos sistemas anteriores podían enseñar con éxito un nuevo hecho al modelo, a menudo lo hacían a un alto costo. En su prisa por asegurar que el nuevo hecho fuera aceptado, los sistemas eliminaban los ejemplos necesarios para proteger el conocimiento existente del modelo. Esto creaba un equilibrio frágil donde corregir un error causaba la aparición de otros. El nuevo enfoque trata la construcción del mensaje no como una simple lista de elementos, sino como un proceso de toma de decisiones secuencial. El sistema aprende a elegir, uno por uno, si añadir un ejemplo que establezca el nuevo hecho, un ejemplo que reformule la pregunta o un ejemplo que refuerce un hecho que debe permanecer sin cambios. Deja de añadir ejemplos solo cuando determina que el mensaje está completo.

Los investigadores entrenaron este sistema utilizando una estructura de recompensa multiobjetivo, lo que significa que la computadora fue recompensada por el éxito en tres áreas simultáneamente: lograr que el nuevo hecho fuera correcto, manejar diferentes formas de hacer la pregunta y mantener seguros los hechos no relacionados. Al equilibrar estos objetivos contrapuestos, el nuevo método evita que el sistema se vuelva demasiado agresivo en sus actualizaciones. Al ser probado en un conjunto estándar de hechos, el nuevo sistema aumentó la tasa de éxito de la edición del 87.1 por ciento al 91.1 por ciento. Más importante aún, mejoró drásticamente la preservación del conocimiento no relacionado, elevando la tasa de retención del 41.0 por ciento al 63.4 por ciento. Esto significa que el modelo es ahora mucho menos propenso a "olvidar" hechos que no necesitaba cambiar mientras aprendía los nuevos. El sistema también demostró ser altamente adaptable; una versión entrenada en un modelo de lenguaje específico funcionó igual de bien cuando se aplicó a un modelo completamente diferente sin ningún entrenamiento adicional.

El estudio demuestra que la forma en que se organizan los ejemplos importa tanto como los ejemplos mismos. Los métodos anteriores a menudo utilizaban una plantilla fija o se centraban solo en un tipo de ejemplo, lo que conducía a mensajes desequilibrados. El nuevo sistema mezcla dinámicamente diferentes tipos de ejemplos, creando un contexto que es robusto y específico. En pruebas realizadas en cinco modelos de lenguaje congelados diferentes y cuatro conjuntos de datos distintos, incluyendo un banco de pruebas masivo con más de 300,000 ejemplos, el método superó consistentemente a las técnicas anteriores. Los investigadores descubrieron que, al gestionar cuidadosamente el compromiso entre la enseñanza de nueva información y la protección de la información antigua, podían lograr un nivel de fiabilidad y especificidad que antes estaba fuera de alcance. Este trabajo sugiere que el futuro de la actualización de la inteligencia artificial puede no residir en un reentrenamiento masivo, sino en formas más inteligentes y equilibradas de guiar al modelo a través de la conversación.

Resumen Técnico: MO-IKE mediante Aprendizaje por Refuerzo Multiobjetivo

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) dependen de un conocimiento paramétrico estático que queda desactualizado tras el preentrenamiento. Mientras que la Edición de Conocimiento (KE) busca actualizar el comportamiento del modelo sobre hechos específicos sin un reentrenamiento completo, la Edición de Conocimiento en Contexto (IKE) ha surgido como una alternativa libre de entrenamiento aplicable a modelos de caja negra. La IKE construye un prompt mediante la recuperación y concatenación de demostraciones para inducir la actualización deseada.

Sin embargo, la construcción de un prompt de IKE efectivo implica equilibrar tres objetivos que a menudo son contradictorios:

Fiabilidad (Reliability): El modelo debe emitir con éxito el nuevo hecho para la consulta objetivo.
Generalidad (Generality): La actualización debe aplicarse a consultas semánticamente equivalentes (paráfrasis).
Especificidad (Specificity): El modelo debe retener hechos vecinos no relacionados sin alteraciones.

Enfoques recientes de Aprendizaje por Refuerzo (RL), como DR-IKE, intentan seleccionar demostraciones dinámicamente para optimizar la fiabilidad. Sin embargo, el artículo identifica dos deficiencias críticas en estos métodos de vanguardia:

Negligencia del Orden Secuencial: A menudo tratan la organización de las demostraciones como una preocupación secundaria o solo optimizan el ordenamiento de tipos específicos (por ejemplo, RETAIN), ignorando la interdependencia global del orden de las demostraciones.
Desequilibrio en la Optimización de Objetivos: Al optimizar principalmente el éxito de la edición (fiabilidad), estos métodos descartan inadvertidamente las demostraciones RETAIN (que protegen el conocimiento vecino). Esto conduce a un fenómeno de "hackeo de recompensa" (reward hacking) donde el recuperador filtra los ejemplos que protegen la especificidad, causando un colapso en la Tasa de Retención (especificidad).

Metodología: MO-IKE

Los autores proponen MO-IKE (Edición de Conocimiento en Contexto Multiobjetivo), un algoritmo que enmarca la construcción de prompts como un Proceso de Decisión de Markov Restringido (Constrained MDP) para optimizar conjuntamente la fiabilidad, la generalidad y la especificidad.

1. Formulación como un Constrained MDP

El proceso de recuperación se modela como un problema de toma de decisiones secuenciales $(S, A, T, R, C)$ :

Estado ( $S$ ): El contexto del prompt actualmente construido.
Acción ( $A$ ): A diferencia de DR-IKE, que restringe las acciones al ordenamiento de candidatos RETAIN, MO-IKE expande el espacio de acciones para incluir la selección de demostraciones de COPY (reiteración directa), UPDATE (consulta parafraseada) y RETAIN (hecho no relacionado), además de una acción de STOP (parada). Esto permite al agente aprender el orden global y la proporción óptima de tipos de demostración.
Recompensa ( $R$ ): La recompensa primaria es el Éxito de Edición (ES), que indica si el modelo emite el nuevo hecho.
Restricciones de Coste ( $C$ ): Para imponer la especificidad y la generalidad, el marco introduce restricciones de coste para la Consistencia de Paráfrasis (PC) y la Tasa de Retención (RR). Estas se definen como el inverso lógico del éxito de la tarea (es decir, se incurre en un coste si el modelo falla en mantener el hecho original o falla en generalizar a una paráfrasis).

2. Modelado de Recompensa Multiobjetivo (Multi-Objective Reward Shaping)

Para resolver el problema de optimización restringida, MO-IKE emplea la relajación de Lagrange para escalarizar el problema multiobjetivo. La señal de recompensa final $r(s, a)$ se calcula como:
$r(s, a) = R(s, a) - \sum_{k \in \{PC, RR\}} \lambda_k C_k(s, a)$
Aquí, $\lambda_k$ son hiperparámetros fijos (no variables duales aprendidas) que penalizan la degradación en la generalidad y la especificidad. Esta estructura evita que el recuperador sacrifique la especificidad en favor de la fiabilidad.

3. Optimización de la Política

El recuperador, implementado como un codificador basado en BERT con matrices de proyección entrenables, se entrena utilizando Optimización de Política Relativa de Grupo (GRPO).

Muestreo: Para cada instancia de edición, la política muestrea un grupo de $G$ trayectorias de prompts.
Evaluación: El LLM objetivo congelado evalúa estas trayectorias para calcular recompensas compuestas.
Actualización: Las ventajas se estiman en relación con la media del grupo, y la política se actualiza para maximizar el objetivo sustituto recortado (clipped surrogate objective) mientras penaliza la divergencia de una política de referencia mediante la divergencia KL.

Principales Contribuciones

Identificación de Deficiencias: El artículo destaca que los métodos actuales de IKE basados en RL (específicamente DR-IKE) no logran equilibrar el compromiso entre el éxito de la edición y la retención de conocimiento, y pasan por alto la importancia del orden secuencial de diversos tipos de demostraciones.
Algoritmo MO-IKE: Los autores introducen un algoritmo de RL multiobjetivo que trata la construcción de prompts como un Constrained MDP. Al expandir el espacio de acciones para incluir todas las categorías de demostración y aplicar restricciones de coste mediante el modelado de recompensa, MO-IKE asegura una política estable que equilibra la fiabilidad, la generalidad y la especificidad.
Mejoras Arquitectónicas: El método introduce un recuperador dinámico capaz de aprender el orden "global" óptimo de las demostraciones COPY, UPDATE y RETAIN, en lugar de tratarlas como plantillas estáticas u optimizar solo un subconjunto.

Resultados Experimentales

Los autores evaluaron MO-IKE en Llama-3.2-3B, Mistral-7B y otros modelos a través de COUNTERFACT, ZSRE, WIKI-COUNTERFACT y el benchmark a gran escala UniEdit (311K ejemplos).

Ganancias de Rendimiento: En Llama-3.2-3B, MO-IKE mejoró el Éxito de Edición (Fiabilidad) del 85.0% al 92.0% y la Tasa de Retención (Especificidad) del 34.7% al 57.7% frente a la línea base de DR-IKE. La media armónica general aumentó de 54.9 a 73.5.
Preservación de la Especificidad: Crucialmente, MO-IKE revirtió la degradación de la especificidad observada en DR-IKE. Para Mistral-7B, mejoró la Tasa de Retención en un +22.7% respecto a la línea base, cambiando la Métrica de Retención de un valor negativo de -22.5 a un positivo de +32.1.
Generalización Zero-Shot: Un recuperador entrenado en Llama-3.2 se generalizó eficazmente a Mistral-7B en un entorno zero-shot, manteniendo un rendimiento comparable al de un recuperador entrenado nativamente.
Estudios de Ablación:
- Eliminar la restricción de retención provocó una caída significativa en la especificidad, confirmando la necesidad de la formulación multiobjetivo.
- Se demostró que expandir el espacio de acciones para incluir todos los tipos de demostración (frente a solo RETAIN) era crítico para lograr un rendimiento equilibrado en todas las métricas.

Significación y Reivindicaciones

El artículo afirma que MO-IKE proporciona una solución fundamentada a los objetivos contrapuestos de la edición de conocimiento en contexto. Al enmarcar el problema como un Constrained MDP y utilizar el modelado de recompensa multiobjetivo, el método logra una "política estable" que evita el "hackeo de recompensa" de los enfoques de RL previos.

Los autores enfatizan que su enfoque es libre de entrenamiento para el LLM objetivo (el LLM permanece congelado) y es aplicable a modelos de caja negra. Señalan que, aunque MO-IKE mejora significativamente las estrategias de recuperación existentes, la tasa de retención absoluta sigue siendo un cuello de botella inherente a los métodos de aprendizaje en contexto (rondando el 60%), lo que sugiere que los enfoques sin gradiente aún tienen margen de mejora. El trabajo establece que equilibrar la proporción y el orden de distintos tipos de demostraciones es esencial para una edición de conocimiento fiable, generalizable y específica.