💻 computer science

Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition

Este artículo demuestra que las técnicas estándar de fusión de modelos a menudo causan un colapso asimétrico donde se pierden las capacidades de reconocimiento de seguridad mientras se preservan los comportamientos de rechazo generalizados, principalmente porque el ajuste fino de rechazo induce magnitudes de vector de tarea significativamente mayores que dominan el proceso de fusión a pesar de que los vectores son casi ortogonales.

Autores originales: Aarnav Choudhary, Matheus Fonseca Rocha, Jiwon Seo, Vasu Sharma, Maheep Chaudhary

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aarnav Choudhary, Matheus Fonseca Rocha, Jiwon Seo, Vasu Sharma, Maheep Chaudhary

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que puede aprender nuevos trucos. A veces, quieres enseñarle una cosa específica, como detectar un titular de noticias falsas. Otras veces, quieres que aprenda un truco diferente, como decir "no" a las peticiones peligrosas. Pero, ¿y si quisieras que el robot hiciera ambas cosas al mismo tiempo? En el mundo de la inteligencia artificial, existe un atajo ingenioso llamado "fusión de modelos" (model merging). En lugar de reentrenar al robot desde cero, los científicos toman dos versiones diferentes del robot —una entrenada para el truco A y otra para el truco B— y mezclan matemáticamente sus cerebros. Es como mezclar dos sabores diferentes de helado para obtener un nuevo remolino perfecto. La gran pregunta es: cuando mezclas estos dos "sabores" de entrenamiento de seguridad, ¿obtienes un robot que sea bueno en ambos, o un sabor ahoga por completo al otro? Este es el misterio que un nuevo estudio se propuso resolver, analizando si podemos mantener la capacidad de un robot para comprender el peligro y, al mismo tiempo, mantener su capacidad para rechazarlo.

Los investigadores detrás de este estudio, publicado en la conferencia COLM 2026, decidieron probar esto con un modelo de robot específico llamado Gemma-3-1B-IT. Crearon dos versiones especiales de este robot. La primera versión, llamémosla "Detective", fue entrenada con un conjunto masivo de datos de preguntas médicas para convertirse en una experta en detectar qué tan dañina es una instrucción (prompt). Aprendió a dar una respuesta graduada, como decir: "Esto es un poco riesgoso" o "Esto es muy peligroso". La segunda versión, "Guardián", fue entrenada con una gran colección de instrucciones adversarias y truculentas diseñadas para romper las reglas del robot. El Guardián aprendió una lección simple y contundente: si parece peligroso, simplemente di "No" y rechaza la respuesta, sin hacer preguntas.

El equipo tomó a estos dos especialistas e intentó fusionarlos en un solo robot utilizando cuatro métodos matemáticos de mezcla diferentes. Esperaban que el resultado fuera un robot que pudiera tanto detectar el nivel de daño como rechazar lo malo. Sin embargo, encontraron un resultado extraño y desequilibrado. En cada uno de los casos, el comportamiento del "Guardián" tomó el control por completo. Los robots fusionados se volvieron excelentes para rechazar las instrucciones dañinas, manteniendo sus tasas de rechazo altas (entre el 81% y el 85%). Sin embargo, las habilidades del "Detective" desaparecieron casi por completo. Los robots olvidaron cómo calificar el daño; su capacidad para clasificar la severidad de una instrucción cayó casi a cero (cayendo hasta tan solo el 0.6% o 12.9%, dependiendo del método). Fue como si el robot hubiera aprendido a cerrar la puerta de un portazo a todo, olvidando cómo mirar por la mirilla para ver qué había realmente allí.

¿Por qué sucedió esto? Los científicos observaron de cerca el "ADN" de los dos robots para encontrar al culpable. Descubrieron que no fue porque los dos robots estuvieran luchando entre sí o intentando ir en direcciones opuestas. De hecho, sus cerebros estaban casi en ángulos rectos entre sí, lo que significa que intentaban hacer cosas totalmente diferentes sin chocar. El verdadero problema era una cuestión de volumen. El robot "Guardián" había sido entrenado con un conjunto de datos aproximadamente 29 veces más grande que el del "Detective". Debido a esto, los cambios realizados en el cerebro del Guardián fueron mucho más "fuertes" y ruidosos. Cuando los científicos mezclaron los cerebros, las herramientas matemáticas que utilizaron fueron como un control de volumen que subió la señal más fuerte y bajó la señal más silenciosa. El "¡No!" grande y audaz del "Guardián" ahogó el "Tal vez" sutil y matizado del "Detective".

Incluso cuando los investigadores intentaron solucionar esto reduciendo el tamaño de los datos de entrenamiento del Guardián para que coincidiera con el tamaño del Detective, el problema no desapareció por completo para todos los métodos de fusión. Esto sugiere que, si bien el tamaño de los datos fue un factor importante, la forma en que los algoritmos de fusión manejan estos cambios "fuertes" frente a los "silenciosos" es la clave real. El estudio sugiere que las herramientas de fusión estándar actuales están sesgadas hacia la preservación de los comportamientos grandes y contundentes (como rechazar todo) mientras borran accidentalmente las habilidades detalladas y finas (como entender por qué algo es malo).

Entonces, ¿qué significa esto para el futuro? El artículo sugiere que, si queremos construir una IA segura que pueda tanto rechazar cosas malas como comprender los matices de la seguridad, no podemos simplemente mezclar y combinar modelos usando las herramientas estándar actuales. Podríamos estar perdiendo al "Detective" dentro del "Guardián". Los investigadores concluyen que los métodos futuros deben ser más inteligentes a la hora de equilibrar estos diferentes "volúmenes" de aprendizaje, asegurando que el robot no solo aprenda a decir "no" a todo, sino que también aprenda a entender la diferencia entre una pequeña advertencia y un gran peligro.

Resumen Técnico: Colapso Asimétrico en la Fusión de Modelos

Planteamiento del Problema
La fusión de modelos permite la combinación de modelos ajustados por separado en un único modelo sin entrenamiento adicional, operando bajo la suposición de que el resultado aproxima una síntesis equilibrada de las capacidades de origen. Sin embargo, no está claro si los métodos de fusión estándar pueden preservar simultáneamente múltiples comportamientos distintos relevantes para la seguridad. Específicamente, este artículo investiga si la fusión de un modelo ajustado para el reconocimiento matizado de daños con un modelo ajustado para la negativa adversaria amplia resulta en una capacidad equilibrada o en un "colapso" donde un comportamiento sobrescribe al otro.

Metodología
Los autores realizaron un estudio de caso controlado utilizando Gemma-3-1B-IT como modelo base para crear dos variantes distintas de ajuste fino supervisado (SFT):

FT CARES: Ajustado con el benchmark CARES (más de 18,000 prompts) para realizar una clasificación graduada y estructurada de los niveles de daño de prompts médicos (0–3).
FT WJB: Ajustado con el conjunto de datos WildJailbreak (262k ejemplos) para aprender un comportamiento de negativa binaria frente a intentos de jailbreak adversarios.

Estos dos modelos fueron fusionados utilizando cuatro algoritmos estándar de la biblioteca mergekit: Linear (promedio uniforme), SLERP (interpolación lineal esférica), TIES y DARE-TIES. Todas las fusiones utilizaron un peso igual ( $\alpha = 0.5$ ).

Los modelos fusionados fueron evaluados en tres métricas:

Precisión CARES: Precisión de clasificación de cuatro clases para los niveles de daño.
Resistencia a Ataques: Tasa de negativa en prompts adversarios (WildJailbreak).
Cumplimiento Benigno: Tasa de no-negativa en prompts benignos.

Para aislar la causa de los fallos observados, los autores realizaron análisis mecanísticos, incluyendo:

Análisis de Vectores: Medición de las normas L2 por capa y la similitud de coseno entre los vectores de tarea (diferencias entre los pesos ajustados y los base).
Normalización del Tamaño de los Datos: Reentrenamiento de FT WJB en una submuestra de 9k para igualar el tamaño del conjunto de datos CARES, reduciendo así la disparidad de magnitud.
Ablación de Cabezales de Atención: Aprendizaje de máscaras de necesidad binaria para determinar qué cabezales de atención son críticos para cada tarea y rastrear su retención o destrucción tras la fusión.

Resultos Clave
Los experimentos revelaron un marcado colapso asimétrico en los cuatro métodos de fusión:

La Negativa se Transfiere, el Reconocimiento Colapsa: Los modelos fusionados retuvieron una alta resistencia a ataques (81.1%–85.3%), igualando de cerca la línea base de FT WJB (88.0%). Por el contrario, la precisión del reconocimiento de daños cayó drásticamente. La fusión con mejor desempeño (SLERP) logró solo un 12.9% de precisión CARES, mientras que TIES y DARE-TIES cayeron a casi cero (0.6% y 0.8%, respectivamente), regresando efectivamente al rendimiento del modelo base o incluso peor.
Ortogonalidad vs. Magnitud: Se encontró que los vectores de tarea para la negativa y el reconocimiento eran casi ortogonales (similitud de coseno de 0.011), lo que descarta que las direcciones opuestas sean la causa principal de interferencia. En su lugar, el vector de tarea de FT WJB exhibió magnitudes L2 por capa 4 a 5 veces mayores que el vector de FT CARES.
Sensibilidad a la Magnitud: Los métodos sensibles a la magnitud (TIES, DARE-TIES) favorecieron sistemáticamente las actualizaciones de negativa más grandes. Incluso en el experimento de datos normalizados (submuestra de 9k), donde la brecha de magnitud se redujo, la precisión de clasificación no se recuperó totalmente para Linear, SLERP o TIES, aunque DARE-TIES mostró una mejora significativa (20.0% de precisión), sugiriendo que la magnitud es un factor impulsor pero no el único.
Preservación Estructural vs. Funcional: El análisis de cabezales de atención reveló que, si bien el 49–65% de los cabezales de atención esenciales para CARES se retuvieron estructuralmente en los pesos fusionados, su capacidad funcional se vio corrompida. Los pesos fusionados dentro de estos cabezales ya no soportaban la clasificación, un fallo invisible para las estadísticas agregadas de los pesos.

Significancia y Reivindicaciones
El artículo sostiene que la fusión de modelos estándar puede provocar inadvertidamente el colapso del reconocimiento de seguridad de grano fino en una negativa amplia y tosca cuando los vectores de tarea de seguridad difieren sustancialmente en escala. Los autores argumentan que esto no es el resultado de direcciones de tarea en conflicto, sino de un desequilibrio de magnitud donde las actualizaciones más grandes (negativa) dominan las actualizaciones más pequeñas y distribuidas (reconocimiento) en el espacio de los pesos.

La significancia de este trabajo reside en identificar un modo de fallo específico en la fusión de modelos alineados con la seguridad: la pérdida del juicio matizado (ej. calificar niveles de daño) en favor de una negativa generalizada y tosca. Los autores advierten que cualquier capacidad de seguridad que requiera un juicio graduado (puntuación de toxicidad, triaje de riesgos) puede ser igualmente vulnerable a ser sobrescrita por objetivos de comportamiento más toscos durante los procesos de fusión estándar. Concluyen que los futuros métodos de fusión conscientes de la seguridad deben considerar los roles de comportamiento, los desequilibrios de escala y la preservación del reconocimiento de grano fino junto con la negativa, en lugar de centrarse únicamente en la dirección del vector de tarea y la dispersión.

Más como este