A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges
Esta encuesta proporciona una visión actualizada de los Modelos de Lenguaje y Visión de Gran Escala hasta 2026, trazando su evolución arquitectónica desde sistemas basados en adaptadores hacia modelos unificados de mundo y acción, analizando el cambio en los referentes hacia el razonamiento complejo y las tareas corporizadas, y revisando los métodos de alineación post-entrenamiento al tiempo que destaca desafíos críticos en alucinación, seguridad y eficiencia.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina una computadora que no solo puede leer una oración, sino también mirar una fotografía, un video o un gráfico complejo y comprender cómo todos ellos encajan entre sí. Durante años, la inteligencia artificial ha sido excelente procesando texto, pero le costaba "ver" realmente el mundo de la manera en que lo hacen los humanos. Podía describir una imagen, pero a menudo perdía el contexto profundo, la secuencia de eventos o los detalles sutiles que conectan una imagen con una historia. Esta brecha entre leer y ver es lo que los investigadores llaman la división visión-lenguaje. El objetivo de una nueva generación de sistemas informáticos es cerrar esta brecha, creando modelos que puedan razonar a través de imágenes, videos, audio y texto simultáneamente, de forma muy similar a como lo hace un humano cuando observa una escena e instantáneamente comprende las relaciones entre objetos, personas y acciones.
Un nuevo y exhaustivo estudio realizado por investigadores de la Universidad de Maryland y la Universidad del Sur de California traza la rápida evolución de estos sistemas, conocidos como modelos de visión-lenguaje, hacia 2026. El artículo no se limita a enumerar nuevos lanzamientos de software; rastrea un cambio fundamental en la forma en que estas máquinas se construyen y cómo las probamos. Los investigadores descubrieron que el campo se ha alejado de simplemente acoplar una cámara a un procesador de texto. En su lugar, los sistemas más avanzados ahora tratan la visión y el lenguaje como un flujo de información único y unificado desde el principio de su entrenamiento. Este cambio ha permitido que estos modelos manejen secuencias de información mucho más largas, razonen sobre tareas complejas como navegar por un sitio web o controlar un robot, e incluso predigan qué podría suceder después en un entorno físico.
La historia de estos modelos es una de transformación arquitectónica. En los primeros días, los investigadores construían sistemas con dos torres separadas: una para procesar imágenes y otra para procesar texto, que luego se conectaban mediante un puente. Estos sistemas eran buenos emparejando imágenes con palabras, pero tenían dificultades para generar nuevas ideas o razonar profundamente. El siguiente paso consistió en tomar un potente procesador de texto y añadirle un proyector para alimentarlo con información visual. Si bien esto mejoró el rendimiento, la parte de la visión seguía siendo un complemento secundario. La frontera se ha desplazado ahora hacia una nueva era donde el modelo se entrena nativamente en todos los tipos de datos a la vez. En estos sistemas modernos, las imágenes, los videos, el audio y el texto se convierten todos en un único flujo de tokens que el modelo procesa conjuntamente. Esto permite al sistema comprender que un video de una taza cayendo y una oración que describe el sonido de un cristal rompiéndose son parte de la misma realidad física, en lugar de ser solo dos piezas de datos separadas.
Este salto arquitectónico ha dado lugar a una nueva clase de modelos que pueden hacer más que responder preguntas. Están comenzando a actuar como agentes que pueden realizar tareas. Por ejemplo, estos sistemas ahora pueden mirar la pantalla de una computadora, identificar un botón y hacer clic en él para navegar por un sitio web, o pueden analizar un tablero para extraer puntos de datos específicos. El estudio destaca que las familias de modelos más capaces, desarrolladas por los principales laboratorios de investigación, se están moviendo hacia capacidades de "mundo-acción". Esto significa que el modelo no solo está observando el mundo, sino que también está aprendiendo a predecir cómo cambiará el mundo en respuesta a sus propias acciones. Está aprendiendo a ser un generador, un perceptor y un tomador de decisiones, todo al mismo tiempo, capaz de simular escenarios futuros para elegir la mejor línea de acción.
Sin embargo, a medida que estos sistemas se vuelven más potentes, la forma en que los probamos también ha tenido que cambiar. El estándar antiguo consistía en hacerle al modelo preguntas simples como "¿De qué color es el coche?" y verificar si la respuesta era correcta. Los investigadores descubrieron que este enfoque ya no es suficiente. Los bancos de pruebas modernos se centran en desafíos mucho más difíciles, como si un modelo puede rastrear un objeto a lo largo de un video largo, mantener su confianza al extraer datos de un documento desordenado o juzgar correctamente la seguridad del movimiento de un robot. El estudio señala que muchas pruebas actuales todavía dependen de preguntas sencillas de opción múltiple, lo que puede ser engañoso porque los modelos a veces pueden adivinar la respuesta correcta sin comprender realmente la imagen. El campo está compitiendo ahora por desarrollar mejores formas de evaluar si un modelo está razonando realmente o si solo está memorizando patrones.
A pesar de estos avances, persisten desafíos significativos. Los investigadores identificaron que estos modelos todavía sufren de "alucinaciones", donde describen con confianza objetos o eventos que no están realmente presentes en la imagen. Este es un problema crítico, especialmente cuando estos sistemas se utilizan para tareas de alto riesgo como el diagnóstico médico o la conducción autónoma. El estudio también señala que la seguridad y la equidad son preocupaciones mayores, ya que los modelos pueden ser engañados para ignorar sus reglas de seguridad o pueden exhibir sesgos contra ciertos grupos de personas. Además, la enorme cantidad de datos requerida para entrenar estos sistemas se está convirtiendo en un cuello de botella, con investigadores explorando formas de utilizar datos sintéticos o aprendizaje autosupervisado para superar la escasez de ejemplos de alta calidad etiquetados por humanos.
El artículo concluye que, si bien el progreso en los modelos de visión-lenguaje es rápido y transformador, el campo se encuentra todavía en una fase de descubrimiento activo. El cambio de un simple emparejamiento de imagen y texto hacia sistemas agénticos unificados representa un cambio fundamental en cómo la inteligencia artificial interactúa con el mundo. Los investigadores enfatizan que los próximos años estarán definidos no solo por construir modelos más grandes, sino por resolver los problemas difíciles de alineación, seguridad y razonamiento fiable. Sugieren que el futuro de esta tecnología reside en la creación de sistemas que no solo puedan ver y hablar, sino también actuar de manera responsable y precisa en el complejo mundo físico en el que vivimos. El viaje desde una máquina que puede describir una foto hasta una que puede navegar por una ciudad o diagnosticar una enfermedad está bien encaminado, pero el camino por delante requiere una navegación cuidadosa para asegurar que estas poderosas herramientas sean tanto capaces como confiables.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.