🤖 AI

Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

Este estudio demuestra que actualizar los modelos de lenguaje preentrenados en los modelos de visión y lenguaje no garantiza mejoras universales, ya que el impacto en el rendimiento depende de la tarea específica, con los modelos más nuevos mostrando ventajas en la calibración y el razonamiento pero beneficios limitados en tareas puramente visuales.

Autores originales: Sameera Horawalavithana, Lauren Phillips, Ian Stewart, Sai Munikoti, Karl Pazdernik

Publicado 2026-04-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sameera Horawalavithana, Lauren Phillips, Ian Stewart, Sai Munikoti, Karl Pazdernik

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Volvamos al Granero con las LLAMAs: ¿Mejoran las "Cerebros" de IA los Ojos de la IA?

Imagina que estás construyendo un robot explorador muy inteligente. Este robot tiene dos partes principales:

Sus Ojos (El Codificador Visual): Son los que miran las fotos y entienden qué hay en ellas (un árbol, un terremoto, un gráfico científico).
Su Cerebro (El Modelo de Lenguaje o LLM): Es el que piensa, lee las preguntas y escribe las respuestas.

Los investigadores de este estudio se preguntaron: "Si actualizamos el 'Cerebro' del robot con la versión más nueva y potente, ¿el robot se vuelve automáticamente mejor en todo?"

Para responder esto, hicieron un experimento muy limpio y controlado. Mantuvieron los Ojos exactamente iguales (no los cambiaron) y usaron los mismos libros de entrenamiento. Solo cambiaron el Cerebro, probando tres generaciones de modelos "LLAMA" (LLAMA-1, LLAMA-2 y LLAMA-3), que son como versiones cada vez más inteligentes de un mismo genio.

Aquí están los hallazgos principales, explicados con analogías sencillas:

1. No siempre hay mejora: Depende de la tarea

La analogía: Imagina que tienes un coche de carreras. Si le pones un motor nuevo y más potente (el nuevo Cerebro), ¿va a ganar todas las carreras?

En una pista de carreras (Preguntas Visuales de la Vida Real): ¡Sí! El motor nuevo ayuda mucho. El robot entendió mejor las imágenes de escenas cotidianas y dio respuestas más acertadas.
En un examen de memoria (Ciencias): ¡No! De hecho, el robot con el motor nuevo empeoró un poco. ¿Por qué? Porque este examen requería memorizar patrones de texto específicos. El nuevo cerebro, al ser más "inteligente" y creativo, a veces ignoraba las reglas estrictas del examen para intentar ser más ingenioso, y eso le costó puntos.

Lección: Un cerebro más inteligente no garantiza un robot mejor en todas las situaciones. A veces, lo que necesitas es un cerebro que siga las reglas al pie de la letra, no uno que piense "fuera de la caja".

2. Resuelven problemas diferentes, no los mismos problemas

La analogía: Imagina que tienes a tres detectives resolviendo el mismo caso.

Los detectives antiguos (LLAMA-1 y 2) casi siempre coinciden en quién es el culpable.
El detective nuevo (LLAMA-3) a veces acusa a alguien totalmente diferente.

El estudio descubrió que el nuevo cerebro no solo resuelve más preguntas correctas; resuelve un conjunto diferente de preguntas. A veces acierta donde los antiguos fallaban, pero falla donde los antiguos acertaban. Si solo miramos la puntuación total, no vemos este cambio de comportamiento. El nuevo cerebro "piensa" de una manera distinta, enfocándose en detalles que los anteriores ignoraban.

3. Cuando los ojos son el problema, el cerebro no importa

La analogía: Imagina que intentas leer un texto escrito en un papel muy borroso y arrugado.

Si tienes el mejor cerebro del mundo (LLAMA-3), pero tus ojos no pueden ver las letras borrosas, no podrás leer nada.
En la tarea de analizar imágenes de sismos (terremotos), el problema era que la imagen era difícil de interpretar. Como los "Ojos" del robot eran los mismos para todos, el nuevo cerebro no pudo hacer magia. Todos los robots, con cerebros viejos o nuevos, fallaron o acertaron en las mismas imágenes.

Lección: Si la tarea depende de "ver" bien (percepción visual), actualizar el cerebro no sirve de mucho. Necesitas mejorar los "Ojos" (el escáner de imágenes).

4. Nuevas habilidades mágicas aparecen de la nada

La analogía: Es como si un niño aprendiera a caminar y luego, de repente, sin entrenamiento extra, aprendiera a hablar en coordenadas GPS.

En una tarea donde el robot debía decir la ubicación exacta (latitud y longitud) de un terremoto, los cerebros antiguos (LLAMA-1 y 2) fallaron estrepitosamente (0% de acierto). Solo podían decir "está en California".
El cerebro nuevo (LLAMA-3), sin embargo, acertó el 76% de las veces.

Esto sugiere que con los cerebros más nuevos, aparecen habilidades completamente nuevas que los anteriores ni siquiera tenían, especialmente cuando se necesita dar respuestas numéricas estructuradas o conocimientos muy específicos.

5. El nuevo cerebro es más humilde (y por eso es mejor)

La analogía:

Los cerebros antiguos eran como un estudiante que siempre levanta la mano y grita la respuesta con un 100% de seguridad, aunque esté equivocado.
El cerebro nuevo es como un estudiante que piensa más, duda un poco y dice: "Creo que la respuesta es X, pero no estoy 100% seguro".

Curiosamente, ese cerebro que "duda" (tiene menos confianza) es el que más aciertos tiene. Los antiguos eran demasiado seguros de sí mismos (sobreconfiados), mientras que el nuevo es más preciso y realista sobre lo que sabe.

Conclusión Final

Este estudio nos dice que no basta con comprar el modelo de IA más nuevo y esperar que todo mejore.

Si tu tarea es ver y entender imágenes complejas, necesitas mejorar los "Ojos" (el escáner), no el cerebro.
Si tu tarea es razonar o seguir instrucciones, un cerebro nuevo puede ayudarte, pero a veces cambiará cómo resuelve los problemas, no solo qué resuelve.
A veces, un cerebro nuevo descubre habilidades mágicas que los anteriores no tenían, pero otras veces, simplemente no hace ninguna diferencia.

Es como actualizar el motor de un coche: a veces te hace volar, a veces solo consume más gasolina, y a veces, si tienes las ruedas viejas y rotas, no importa qué motor pongas, el coche no irá rápido.

Título del Estudio

Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision-Language Models

1. Problema

Los Modelos de Lenguaje y Visión (VLM) han avanzado rápidamente al utilizar Modelos de Lenguaje Grandes (LLM) preentrenados como sus "esqueletos" o backbones de razonamiento. Sin embargo, existe una brecha de conocimiento sobre cómo la evolución de estos LLMs (por ejemplo, de la serie LLAMA-1 a LLAMA-3) impacta realmente en el rendimiento de los VLMs en tareas multimodales específicas.

La investigación previa carece de control experimental: las comparaciones existentes suelen cambiar múltiples variables simultáneamente (encoder de visión, datos de entrenamiento, hiperparámetros, implementación), lo que hace imposible aislar si las mejoras provienen del LLM o de otros factores. El objetivo de este estudio es determinar sistemáticamente si actualizar el backbone de un LLM a una versión más nueva garantiza un mejor VLM y cómo afecta esto a diferentes tipos de tareas.

2. Metodología

Los autores diseñaron un estudio empírico controlado para aislar el efecto del backbone del LLM:

Arquitectura Controlada: Se utilizó una arquitectura VLM consistente basada en NeVA (NVIDIA).
- Encoder de Visión: Se mantuvo constante en todos los experimentos (CLIP-ViT-Large-Patch14).
- Datos de Entrenamiento: Se utilizaron los mismos conjuntos de datos para todas las variantes.
- Algoritmo de Entrenamiento: Se empleó un proceso de dos etapas:
  1. Alineación (Warm-up): Fine-tuning en el conjunto de datos SciCap (descripción de gráficos técnicos) para alinear el encoder visual con el LLM.
  2. Fine-tuning Supervisado (SFT): Adaptación a tareas específicas.
Backbones Variados: Se compararon tres generaciones de LLMs de Meta: LLAMA-1, LLAMA-2 y LLAMA-3.1.
Tareas de Evaluación (Dominios Diversos):
1. ScienceQA: Preguntas de ciencias que requieren razonamiento sobre información visual y textual (enfoque en razonamiento lingüístico y memorización).
2. VQA-Scene: Preguntas de respuesta visual centradas en la comprensión de escenas cotidianas (enfoque en razonamiento visual anclado).
3. Seismic: Dataset multimodal de eventos sísmicos con imágenes geológicas y descripciones textuales, incluyendo predicción de coordenadas (latitud/longitud).
Métricas: Precisión general, correlación a nivel de instancia (qué preguntas resuelven correctamente cada modelo), métricas de texto (BLEU/ROUGE), distancia Haversine para coordenadas, y análisis interno de confianza y representaciones de capas.

3. Contribuciones Clave

El estudio aporta las siguientes contribuciones fundamentales:

Estudio Controlado Riguroso: Es uno de los primeros trabajos que mantiene constantes el encoder de visión, los datos y el código, variando únicamente el backbone del LLM, permitiendo una atribución causal clara de los cambios de rendimiento.
Análisis de Comportamiento a Nivel de Instancia: Demuestra que la precisión agregada oculta cambios significativos en qué instancias resuelven los modelos. Los modelos más nuevos no solo resuelven "más" preguntas, sino que resuelven "diferentes" preguntas.
Análisis de Representaciones Internas: Proporciona evidencia sobre cómo cambian las dinámicas internas (magnitud de activaciones y transiciones entre capas) entre generaciones de LLMs y cómo esto afecta la calibración de la confianza.
Identificación de Nuevas Capacidades Emergentes: Muestra que ciertas habilidades (como la predicción de coordenadas geoespaciales estructuradas) pueden aparecer repentinamente en la generación más nueva de LLMs, en lugar de mejorar gradualmente.

4. Resultados Principales

No hay mejora uniforme: Un LLM más nuevo no garantiza un VLM mejor. El rendimiento depende estrictamente de la tarea:
- VQA-Scene: La precisión aumentó del 61.8% (LLAMA-1) al 65.6% (LLAMA-3).
- ScienceQA: La precisión disminuyó del 71.8% (LLAMA-1) al 68.4% (LLAMA-3).
- Seismic (Texto): Resultados mixtos sin una tendencia clara.
Cambio en el Comportamiento (Correlación Negativa): En VQA-Scene, LLAMA-3 tiene una correlación negativa a nivel de instancia con LLAMA-1 y LLAMA-2 ( $r \approx -0.2$ ). Esto significa que las preguntas que los modelos antiguos aciertan, el nuevo tiende a fallar, y viceversa. LLAMA-3 aborda el problema de manera cualitativamente diferente.
El Cuello de Botella Visual: En tareas donde la percepción visual es el factor limitante (como la descripción de características geológicas en el dataset Seismic), actualizar el LLM no aporta beneficios significativos. Todos los modelos fallan o aciertan en las mismas instancias ( $r > 0.85$ ).
Emergencia de Capacidades: En la tarea de predicción de coordenadas (latitud/longitud) en el dataset Seismic, LLAMA-1 y LLAMA-2 obtuvieron un 0.0% de precisión (no podían generar números formateados), mientras que LLAMA-3 alcanzó un 76.5%. Esto indica que la capacidad de manejar salidas numéricas estructuradas y conocimiento de dominio específico puede emerger solo con backbones suficientemente avanzados.
Confianza y Calibración:
- LLAMA-1 y LLAMA-2 mostraron una confianza excesiva (score de 1.0) incluso cuando fallaban.
- LLAMA-3 fue menos confiado (score medio de 0.73) pero más preciso, lo que sugiere una mejor calibración de la incertidumbre.
Divergencia de Representaciones Internas:
- LLAMA-1 y LLAMA-2 muestran grandes activaciones y cambios drásticos en las capas profundas del decoder antes de generar la respuesta.
- LLAMA-3 mantiene activaciones más pequeñas y estables, refinando la representación de la respuesta de manera incremental a través de las capas. Esto explica su mayor estabilidad y diferente comportamiento.

5. Significado e Implicaciones

Este trabajo desafía la noción simplista de que "un LLM más nuevo siempre es mejor para un VLM". Sus implicaciones son críticas para el desarrollo futuro:

Selección de Backbones: La elección del LLM base debe alinearse con la tarea específica. Para tareas de razonamiento visual puro, un LLM más nuevo podría no ofrecer ventajas o incluso ser contraproducente si introduce sesgos lingüísticos fuertes.
Evaluación de Modelos: La precisión agregada es una métrica insuficiente. Es necesario analizar a nivel de instancia y entender qué tipo de problemas resuelve el modelo, ya que los modelos pueden estar resolviendo tareas fundamentalmente distintas.
Priorización de Mejoras:
- Para tareas dominadas por la percepción visual (ej. análisis de imágenes geológicas), la inversión debe dirigirse a mejorar los encoders de visión, no el LLM.
- Para tareas que requieren razonamiento complejo, salida estructurada o conocimiento de dominio, actualizar el backbone del LLM es crucial y puede habilitar capacidades emergentes.
Estabilidad Interna: Las mejoras arquitectónicas en LLMs (como en LLAMA-3) conducen a representaciones internas más estables y una mejor calibración de la confianza, lo cual es vital para la fiabilidad de los sistemas VLM en aplicaciones críticas.

En resumen, la evolución de los LLMs no es una mejora lineal para todos los VLMs, sino un cambio cualitativo que altera cómo los modelos procesan la información, resuelven problemas y manejan la incertidumbre, dependiendo intrínsecamente de la naturaleza de la tarea multimodal.