Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era

Imagina que estás tratando de encontrar un coche específico en una ciudad llena de miles de vehículos de apariencia idéntica. Este es el trabajo de la "Re-identificación de Vehículos" (Re-ID), un superpoder para los sistemas de tráfico inteligentes que ayuda a las cámaras a rastrear un coche mientras salta de una esquina de la calle a otra. Durante años, la salsa secreta para mejorar en esto fue la "diversidad". Los ingenieros creían que si construías un equipo de diferentes expertos para observar el coche, el grupo sería más inteligente que cualquier persona individual. Dividían el trabajo: un experto podría mirar las ruedas, otro el techo y un tercero podría usar un estilo de pensamiento completamente diferente (como un cerebro humano frente a un cerebro robótico) para captar detalles que los otros pasaron por alto. La gran idea era que más variedad significaba menos errores. Pero, ¿qué sucede cuando le das a tu equipo un cerebro de nivel genio para empezar? ¿Ayuda añadir más ayudantes o simplemente estorban?

Este artículo, escrito por Yu Wang y Hongongyu Yang, se sumerge directamente en esa pregunta. Probaron un tipo de cerebro de IA moderno y potente (llamado "modelo fundacional") en la tarea de encontrar coches. En lugar de construir un equipo desordenado de muchos expertos diferentes, preguntaron: "¿Qué pasa si solo usamos un experto realmente, realmente inteligente y lo enseñamos perfectamente?". Realizaron un experimento masivo en dos famosos conjuntos de datos de coches, VeRi-Wild y VeRi-776, utilizando un conjunto estricto de reglas para asegurar que los resultados fueran justos. No se limitaron a adivinar; midieron todo con herramientas de alta precisión, comprobando si las diferentes partes de su IA realmente veían cosas distintas o si solo se estaban repitiendo.

La respuesta que encontraron es un giro de la trama para el mundo de la IA. Descubrieron que cuando empiezas con un modelo fundacional súper inteligente, la vieja regla de que "más es mejor" se rompe. Cuando intentaron combinar múltiples "cabezas" (diferentes expertos) en el mismo cerebro, los expertos no se convirtieron en un equipo diverso; todos empezaron a pensar exactamente lo mismo. Era como contratar a cinco detectives que todos decidieron mirar la misma pista de la misma manera. Incluso cuando intentaron mezclar dos tipos de cerebros totalmente diferentes —uno estándar y uno nuevo y sofisticado tipo Transformer—, el sofisticado no pudo aportar nada útil. De hecho, el cerebro único y bien ajustado era igual de bueno como todo el equipo, pero era mucho más rápido y barato de ejecutar. El artículo concluye que, para este trabajo específico, con este tipo específico de cerebro inteligente, no necesitas un comité. Solo necesitas un superestrella, la receta de entrenamiento adecuada y un truco ingenioso para verificar los resultados al final.

La historia del super-experto único

Durante casi una década, la comunidad de la IA ha estado obsesionada con la idea de que la diversidad es la reina. En el mundo de la re-identificación de vehículos, esto significaba construir sistemas complejos con arquitecturas de múltiples ramas. Imagina un equipo de inspección de coches donde una persona revisa la matrícula, otra revisa la banda de rodadura del neumático y una tercera revisa el trabajo de pintura. La teoría era que, al dividir el trabajo en flujos paralelos, el sistema captaría más detalles de los que una sola persona podría captar. Algunos equipos incluso probaron la Fusión de Espinas Dorsales Cruzadas (Cross-Backbone Fusion), que es como contratar a un detective humano y a un detective robot para que trabajen juntos, con la esperanza de que sus diferentes formas de ver el mundo cubrieran sus puntos ciegos.

El supuesto era sencillo: más representaciones diversas equivalen a mejores resultados. Pero este artículo plantea una pregunta crucial: ¿Sigue esto funcionando cuando usamos "Modelos Fundacionales"?

Los modelos fundacionales son como genios pre-entrenados. Ya han leído todo el internet (o en este caso, millones de imágenes) y han aprendido a ver el mundo antes de que les pidas una tarea específica. Los autores, Wang y Yang, se preguntaron: Si empiezas con un cerebro que ya es casi perfecto viendo coches, ¿queda algún espacio para que un segundo cerebro ayude? ¿O el primer cerebro ya sabe todo lo que necesita saber?

El experimento: Un cerebro frente a todo el equipo

Para averiguarlo, los autores organizaron una pelea justa. Tomaron una IA potente y pre-entrenada llamada DINOv3-ConvNeXt y le dieron una "receta" específica para entrenarla. Esta receta no era mágica; era solo un programa cuidadoso de cómo enseñar a la IA, incluyendo cuándo congelar su cerebro, cuándo dejar que aprendiera libremente y cómo ajustar su velocidad de aprendizaje.

Probaron este cerebro único en dos grandes conjuntos de datos:

1. VeRi-Wild: Una enorme colección de imágenes de coches con miles de coches diferentes.
2. VeRi-776: Un conjunto de imágenes ligeramente más pequeño, pero muy difícil, utilizado para ver si la IA podía generalizar ante nuevas situaciones.

Compararon su cerebro único y bien entrenado contra los equipos más fuertes que utilizaban múltiples ramas e incluso metadatos (información extra como ángulos de cámara).

El resultado: El cerebro único ganó. O mejor dicho, empató.
El modelo único DINOv3-ConvNeXt, con la receta de entrenamiento adecuada, alcanzó una puntuación de precisión de 88.19 mAP (una medida de qué tan buena es la búsqueda) en el conjunto de datos VeRi-Wild Small. Esto igualó el rendimiento de los sistemas más complejos de múltiples ramas que dependían de metadatos adicionales. Cuando añadieron un paso de "re-clasificación" (re-ranking) (una forma ingeniosa de volver a verificar los mejores resultados), la puntuación saltó a 92.38 mAP.

Los autores descubrieron que el cerebro único era tan bueno como todo el equipo, pero era 2.8 veces más rápido y requería 3 veces menos cálculos (FLOPs).

El mito de la "diversidad" desmentido

La parte más emocionante del artículo es cómo demostraron por qué falló el enfoque de equipo. No se limitaron a mirar la puntuación final; miraron dentro del cerebro de la IA para ver qué estaban haciendo realmente las diferentes "cabras".

1. El colapso de la misma columna vertebral (El ejército de clones)
Cuando pusieron cuatro "cabezas" diferentes en la misma columna vertebral (backbone), esperaban que miraran partes diferentes del coche. En cambio, descubrieron que a medida que la IA entrenaba, todas las cabezas empezaban a pensar exactamente lo mismo.

• La analogía: Imagina que contratas a cuatro detectives. Al principio, uno mira los zapatos, otro el sombrero, otro el bolso y otro la cara. Pero a medida que trabajan juntos, todos empiezan a mirar la cara porque es donde están las pistas más obvias. Al final, todos están mirando el mismo punto.
• Los datos: Los autores midieron esto utilizando una herramienta llamada similitud de Jaccard. Descubrieron que las diferentes cabezas eran entre un 83.5% y un 84.1% idénticas en lo que recuperaban. Eran esencialmente clones. Combinarlas no ayudó porque todas cometían los mismos errores y encontraban las mismas coincidencias.

2. El fallo de la columna vertebral cruzada (El dúo desajustado)
Después, probaron el enfoque de "Humano vs. Robot". Tomaron el cerebro ConvNeXt (el "Humano") e intentaron fusionarlo con un cerebro Transformer (el "Robot"). Sabían que estos dos tipos de cerebros son naturalmente diferentes.

• La configuración: Congelaron el cerebro ConvNeXt para que no pudiera cambiar, actuando como un "ancla semántica" (un punto de referencia estable), y solo entrenaron al Transformer y al módulo de fusión. Probaron tres recetas de entrenamiento diferentes para asegurarse de que el Transformer no fuera simplemente vago.
• El resultado: El cerebro Transformer tuvo dificultades. Incluso con el mejor entrenamiento, solo pudo alcanzar unos 73 mAP, mientras que el cerebro ConvNeXt estaba en 88.19 mAP.
• La fusión: Cuando intentaron combinarlos, el sistema no mejoró. De hecho, el "Oráculo" (un sistema teórico perfecto que sabe la mejor forma de mezclar los dos) decidió darle al Transformer un peso de cero. Era tan malo que el sistema lo ignoró por completo. La fusión nunca añadió más de 0.11 mAP (una cantidad minúscula y estadísticamente insignificante) sobre el cerebro único.

¿Por qué sucedió esto?

El artículo ofrece una explicación clara: Trayectorias compartidas.
Cuando entrenas múltiples cabezas en la misma columna vertebral, siguen el mismo camino. Todas son empujadas hacia la misma "solución" en el mundo de las matemáticas. No se mantienen diversas; colapsan en redundancia.
Además, la Distorsión por Ajuste Fino (Fine-Tuning Distortion) juega un papel importante. Cuando tomas a un genio pre-entrenado y le enseñas un nuevo truco, su "visión" original del mundo se deforma para adaptarse a la nueva tarea. Las diferencias que existían al principio (como las diferentes formas en que un CNN y un Transformer ven las cosas) se borran a medida que ambos intentan resolver el problema del coche de la misma manera.

La frontera de la eficiencia

Los autores concluyen que para la re-identificación de vehículos en la era de los modelos fundacionales, la "Frontera de la Eficiencia" (el mejor rendimiento posible con el menor esfuerzo) se ve así:

• Una columna vertebral fuerte: Usa un modelo fundacional único y potente (como DINOv3-ConvNeXt).
• La receta correcta: Entrénalo cuidadosamente con un programa específico (decaimiento de tasa de aprendizaje por etapas).
• Re-clasificación dispersa exacta: Usa un truco inteligente y eficiente en memoria para volver a verificar los mejores resultados.

Esta combinación iguala el rendimiento de los sistemas más complejos de múltiples ramas, pero cuesta una fracción de la potencia de cálculo.

Lo que esto significa para el futuro

El artículo no dice que la diversidad nunca sea útil. Dice que para esta tarea específica, con este tipo específico de IA y a esta escala de datos, la diversidad no compensa. La regla de que "más es mejor" se ha roto.

Los autores son cuidadosos al enumerar lo que podría demostrar que están equivocados (sus "falsificadores"):

• Si alguien encuentra una forma de entrenar un Transformer que cierre la brecha con el cerebro ConvNeXt.
• Si utilizan un tipo de pre-entrenamiento completamente diferente que mantenga los cerebros distintos.
• Si lo prueban en un conjunto de datos mucho más pequeño donde el cerebro único aún no esté "saturado".

Pero por ahora, el mensaje es claro: Deja de construir equipos desordenados de expertos. En su lugar, encuentra a un genio, enséñale bien y deja que haga el trabajo. Es más rápido, más barato y tan inteligente como el resto.