💻 computer science

When More Foundation Models Means Less: Diagnosing and Addressing Multi-View Fusion Failure

Este artículo identifica que la fusión indiscriminada de múltiples modelos fundacionales a menudo degrada el rendimiento debido a la redundancia y el desalineamiento, y propone KAGES, un método de selección codicioso, eficiente y consciente de las etiquetas que optimiza la composición del conjunto de vistas para lograr una precisión superior en tareas posteriores con un subconjunto de codificadores compacto y alineado con la tarea.

Autores originales: Yibo Liu, Bowen Jiang

Publicado 2026-08-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yibo Liu, Bowen Jiang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era moderna de la inteligencia artificial, los investigadores tienen acceso a una vasta biblioteca de programas informáticos preentrenados, a menudo llamados modelos fundacionales. Estos son sistemas masivos que ya han aprendido a reconocer patrones, comprender el lenguaje o interpretar imágenes mediante el estudio de enormes cantidades de datos. Piense en ellos como herramientas expertas que han sido afiladas pero que aún no se han aplicado a un trabajo específico. Durante años, el enfoque estándar para resolver un nuevo problema con estas herramientas era combinar tantos de ellas como fuera posible, operando bajo la suposición de que más información siempre conduce a mejores resultados. La lógica era simple: si una herramienta ve una imagen de una manera y otra la ve de una manera distinta, juntarlas debería crear una visión perfecta y omnicomprensiva. Esta idea, conocida como aprendizaje multivista (multi-view learning), ha sido durante mucho tiempo una piedra angular de cómo los científicos intentan construir sistemas más inteligentes al fusionar diferentes fuentes de información.

Sin embargo, un nuevo estudio desafía esta creencia fundamental. Investigadores de la Universidad de Postes y Telecomunicaciones de Beijing descubrieron que cuando se empiezan a mezclar un gran número de estos expertos preentrenados, añadir más no necesariamente hace que el resultado final sea mejor. De hecho, después de cierto punto, añadir otra herramienta puede incluso empeorar el sistema. El equipo descubrió que el mejor rendimiento se logra usualmente seleccionando un grupo pequeño y específico de estos modelos, en lugar de usar una colección grande y azarosa. Observaron que, si bien los primeros modelos añadidos a la mezcla aportan perspectivas frescas y útiles, las adiciones subsiguientes suelen repetir información que el sistema ya posee o introducen señales confusas que no tienen nada que ver con la tarea en cuestión. Este fenómeno crea una curva donde el rendimiento aumenta rápidamente, alcanza un pico y luego comienza a caer a medida que se fuerza la inclusión de más modelos en la mezcla.

Para resolver este problema, los investigadores desarrollaron un nuevo método llamado KAGES, que actúa como un selector inteligente para estos modelos de IA. En lugar de fusionar ciegamente cada herramienta disponible, KAGES evalúa cuidadosamente qué modelos específicos deben combinarse y cuántos deben utilizarse. Funciona midiendo qué tan bien la información combinada de un grupo de modelos se alinea con las respuestas correctas para una tarea específica, sin necesidad de entrenar un nuevo sistema para probarlos primero. El método añade de forma codiciosa (greedy) el siguiente mejor modelo que ofrezca la información más nueva y útil, evitando aquellos que simplemente repiten lo que ya se sabe o añaden ruido. Este enfoque permite que el sistema deje de añadir modelos exactamente cuando la información adicional deja de ser útil, asegurando que la combinación final sea compacta y altamente efectiva.

El equipo probó esta idea en una amplia variedad de tareas, incluyendo el reconocimiento de objetos en imágenes, la identificación de texturas e incluso la comprensión del lenguaje. En cada caso, descubrieron que la suposición de que "más es mejor" fallaba. En algunas tareas, el rendimiento alcanzó su punto máximo tras combinar solo tres o cuatro modelos, y añadir más causó que la precisión cayera. Por ejemplo, en una tarea relacionada con el reconocimiento de señales de tráfico, el sistema funcionó mejor con un conjunto muy pequeño de modelos, mientras que en una tarea de geolocalización, un solo modelo ya era tan bueno que añadir otros no proporcionó ningún beneficio y, en ocasiones, perjudicó el rendimiento. Los investigadores también notaron que el número ideal de modelos cambia dependiendo de cuántos datos haya disponibles; con más datos, el sistema puede manejar unos pocos modelos más antes de que el rendimiento comience a declinar, pero el pico siempre se alcanza con un número sorprendentemente pequeño.

Los resultados mostraron que KAGES superó consistentemente a otros métodos, incluyendo aquellos que intentaban combinar todos los modelos disponibles o aquellos que simplemente elegían modelos que eran diferentes entre sí. Al enfocarse en la calidad de la combinación en lugar de la cantidad, KALES pudo encontrar el punto óptimo donde los modelos trabajan juntos de la manera más efectiva. En muchos casos, funcionó casi tan bien como un selector teórico perfecto que tendría que probar todas las combinaciones posibles para encontrar la mejor, pero lo hizo mucho más rápido y sin necesidad de entrenar nuevos sistemas para cada prueba. Este descubrimiento sugiere que el futuro de la construcción de sistemas de IA potentes no reside en acumular más herramientas, sino en la selección cuidadosa e inteligente de las adecuadas. A medida que la biblioteca de modelos de IA disponibles continúe creciendo, la capacidad de elegir el equipo pequeño y perfecto de expertos será más importante que nunca, convirtiendo el desafío de gestionar vastos recursos en una oportunidad para la precisión y la eficiencia.

Resumen Técnico: Cuando más modelos fundacionales significa menos

Definición del problema: Composición de conjuntos de vistas en grandes grupos

El aprendizaje multivista tradicional opera bajo la suposición de un conjunto pequeño y predefinido de vistas complementarias (por ejemplo, de diferentes sensores o características diseñadas manualmente) que mejoran la representación discriminativa. Sin embargo, la proliferación de modelos fundacionales preentrenados ha expandido fundamentalmente el espacio de candidatos de las vistas. En el entorno de codificadores congelados (frozen-encoder), cada modelo preentrenado induce una vista de representación distinta, creando un gran grupo heterogéneo de codificadores que abarcan diversas arquitecturas, objetivos de preentrenamiento y modalidades.

Este cambio transforma el problema de diseño de la simple fusión de un conjunto fijo de vistas a la composición de conjuntos de vistas: determinar qué codificadores combinar de un gran grupo y cuántos incluir. Las observaciones empíricas revelan que el rendimiento descendente no mejora de forma monótona con el número de codificadores fusionados. En su lugar, el rendimiento suele alcanzar un máximo tras incluir un pequeño subconjunto y, posteriormente, declina. Este fenómeno de "pico y declive" es impulsado por dos modos de falla:

Redundancia de Representación: Nuevos codificadores repiten información ya capturada por el conjunto actual.
Desalineación Tarea-Modelo: Los nuevos codificadores introducen claves irrelevantes para la tarea, donde la diversidad por sí sola no equivale a la efectividad.

Las estrategias de selección existentes son insuficientes para este régimen. Las puntuaciones de transferibilidad por codificador ignoran las interacciones entre ellos; los criterios basados en la diversidad priorizan la diferencia sobre la utilidad de la tarea; y la búsqueda exhaustiva de subconjuntos es computacionalmente inviable para grupos grandes. El artículo postula que la composición del conjunto de vistas es un problema de ordenamiento: un ordenamiento de alta calidad debe priorizar los codificadores útiles para que sus prefijos proporcionen conjuntos fusionados competitivos bajo diversos presupuestos de cómputo.

Metodología: KAGES (Selector de Codificadores Ávido de Alineación de Kernel)

Para abordar la necesidad de un criterio de selección a nivel de conjunto que no requiera entrenamiento, los autores proponen KAGES. KAGES es un selector ávido (greedy) que toma conciencia de las etiquetas y construye un ordenamiento de codificadores sin requerir el entrenamiento de clasificadores descendentes ni la búsqueda combinatoria de subconjuntos.

Objetivo Central

KAGES define la utilidad de un conjunto fusionado $S$ basándose en la alineación entre su kernel de representación y el kernel de etiquetas. Específicamente, utiliza la Alineación de Kernel-Objetivo Centrada (CKA).

Función de Utilidad: $J(S) = U(\bar{F}_S, Y) - \tau \sum_{s \in S} \frac{d_s}{n}$ , donde $U$ es la CKA entre el kernel de representación conjunta $K_S$ y el kernel de etiquetas $K_Y$ . El segundo término es una penalización de complejidad opcional basada en la dimensión del codificador $d_s$ .
Aditividad: Bajo la fusión de kernel lineal (concatenación de características), el kernel fusionado es aditivo ( $K_S = \sum K_s$ ). Esto permite que KAGES evalúe las ganancias marginales directamente a nivel de kernel ( $O(n^2)$ por paso) sin tener que reentrenar los modelos para cada subconjunto candidato.

Mecanismo de Selección

KAGES opera de forma ávida (greedy):

Inicializa un conjunto vacío $S$ .
En cada paso, evalúa todos los codificadores candidatos $m \notin S$ mediante su ganancia marginal en la utilidad del nivel de conjunto: $\Delta J(m | S) = J(S \cup \{m\}) - J(S)$ .
Selecciona el codificador con la mayor ganancia marginal y lo añade a $S$ .
Repite hasta que todos los candidatos estén ordenados.

El criterio de ganancia marginal admite una interpretación de relevancia-redundancia. El algoritmo favorece a los candidatos que están bien alineados con las etiquetas (relevancia) mientras exhiben una superposición de kernel limitada con los codificadores ya seleccionados (redundancia). Crucialmente, el peso de la redundancia es adaptativo, determinado por la alineación y la masa del conjunto actual, en lugar de ser fijo a priori.

Garantías Teóricas

El artículo proporciona una garantía teórica condicional. Si la utilidad de alineación es monótona y satisface una condición de razón de submodularidad ( $\gamma$ ), el prefijo ávido de tamaño $k$ logra una aproximación de $(1 - e^{-\gamma})$ al subconjunto óptimo de tamaño $k$ . Además, el artículo establece un mecanismo de "cruce único de ganancia-costo" (Teorema 1) que explica el pico dependiente del orden: a medida que se añaden codificadores, las ganancias marginales disminuyen mientras que los costos de muestra finita se acumulan, causando eventualmente la caída en el rendimiento.

Principales Contribuciones

Nuevo Marco: Reencuadra la fusión de modelos fundacionales congelados en grandes grupos como aprendizaje multivista a escala, formulando la composición del conjunto de vistas como un problema de diseño central.
Caracterización Teórica: Proporciona un relato de utilidad marginal para el fallo de la suposición de "más es mejor", identificando un cruce de ganancia-costo que conduce a picos de rendimiento dependientes del orden y declives posteriores.
Método de Selección Escalable (KAGES): Introduce un selector que no requiere entrenamiento y es consciente de las etiquetas, que evalúa candidatos mediante la alineación de kernel marginal. Evita el ajuste descendente repetido y ofrece garantías de aproximación de prefijo condicionales.
Validación Empírica Amplia: Valida el enfoque en regímenes de reconocimiento de imágenes (objetos genéricos, detalle fino, textura, geoespacial, símbolos estructurados) utilizando un grupo de 10 a 15 codificadores congelados que abarcan cinco paradigmas de preentrenamiento (supervisado por lenguaje, autosupervisado, generativo, supervisado por clase, experto en la tarea).

Resultados Experimentales

Los autores evaluaron KAGES en cinco regímenes de reconocimiento utilizando un grupo de 10 a 15 codificadores congelados que abarcan cinco paradigmas de preentrenamiento (supervisado por lenguaje, autosupervisado, generativo, supervisado por clase, experto en la tarea).

Rendimiento: KAGES superó consistentemente a los métodos competidores, incluyendo la fusión total (Fuse-All), el ordenamiento aleatorio, la selección basada en la diversidad y bases de selección de subconjuntos más fuertes (DPP, Submodular).
Métricas: Medido por AULC (Área Bajo la Curva de Precisión de k) y Acc@k* (precisión máxima). KAGES logró el AULC más alto en todos los protocolos (16-shot, 8-shot con grupo más grande, y datos completos).
Ganancias Específicas: En la tarea de símbolos estructurados (GTSRB), KKAGES mejoró respecto a la fusión total en +8.9 a +15.5 puntos. En protocolos de datos completos, superó a la fusión total en un promedio de +3.3 puntos.
Comportamiento: KAGES logra con éxito "priorizar" (front-load) los codificadores de alta utilidad (a menudo modelos autosupervisados como DINOv2 o modelos supervisados por clase como ResNet-50) y rechaza correctamente los paradigmas adversos (modelos generativos y expertos en la tarea) que no se alinean con la tarea de clasificación.
Generalización: El patrón de pico-y-declive y la superioridad de KAGES se observaron en la recuperación de imágenes y en la fusión de LLM congelados (MMLU y ARC-Challenge), confirmando la aplicabilidad del método más allá de la clasificación de imágenes estándar.

Significado y Reivindicaciones

El artículo argumenta que el aprendizaje multivista efectivo sobre grupos de modelos fundacionales no depende de fusionar más codificadores, sino de seleccionar un conjunto compacto y complementario de vistas. Los autores afirman que, a medida que los centros de modelos públicos crecen, la pregunta central del aprendizaje multivista cambia de "cómo fusionar unos pocos fijos" a "qué codificadores fusionar".

KAGES proporciona una respuesta que no requiere entrenamiento y con base teórica a esta pregunta. Al aprovechar la alineación de kernel, ofrece un criterio escalable a nivel de conjunto que produce ordenamientos de codificadores de alta calidad sin el costo computacional de entrenar predictores descendentes para cada subconjunto candidato. El trabajo sugiere que la suposición de que "más es mejor" es estructuralmente defectuosa en la era de los modelos fundacionales y que la composición explícita del conjunto de vistas es necesaria para desbloquear el potencial de los grupos de codificadores heterogéneos.