💻 computer science

Modern Computer Vision from CNNs to Foundation Models: A Unified Framework for Representation Learning

Esta encuesta presenta un marco de aprendizaje de representación unificado que rastrea la convergencia de los paradigmas discriminativos, multimodales y generativos en la visión computacional moderna —desde las CNN y los Vision Transformers hasta los modelos fundacionales y de difusión— argumentando a favor de una perspectiva cohesiva para avanzar hacia una inteligencia visual de propósito general.

Autores originales: Abdelmalik Moujahid, Fadi Dornaika, Salah-Eddine Mechkouri, Jesús Cigales Canga

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abdelmalik Moujahid, Fadi Dornaika, Salah-Eddine Mechkouri, Jesús Cigales Canga

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a ver el mundo. Durante mucho tiempo, la mejor manera de hacer esto era darle al robot un conjunto de reglas muy específico y rígido, como un chef siguiendo una receta paso a paso. Pero el mundo es desordenado, colorido y lleno de sorpresas. Recientemente, los científicos han estado tratando de construir "modelos fundacionales": cerebros masivos y súper inteligentes que no solo siguen una receta, sino que realmente aprenden cómo se ven las cosas estudiando millones de imágenes, tal como un niño aprende mirando a su alrededor. Estos modelos son ahora tan poderosos que no solo pueden identificar un gato en una foto, sino también describirlo, dibujar uno nuevo desde cero o incluso entender cómo suena. La gran pregunta que los investigadores se plantean es: ¿Son todos estos diferentes tipos de robots inteligentes en realidad versiones diferentes de lo mismo? ¿Están todos intentando construir el mismo tipo de "mapa" interno del mundo, usando diferentes herramientas para llegar a él?

Este artículo, escrito por un equipo de investigadores, actúa como una gran guía turística para este paisaje de la visión computacional que cambia rápidamente. En lugar de tratar los diferentes tipos de IA como tribus separadas, los autores proponen un "marco unificado". Sugieren que, ya sea que un modelo utilice capas convolucionales de la vieja escuela (que miran pequeños parches de una imagen), "Transformers" modernos (que miran la imagen completa a la vez) o modelos generativos (que crean nuevas imágenes), todos están haciendo fundamentalmente el mismo trabajo: construir y manipular una "representación latente" oculta del mundo. Piensa en esta representación como un lenguaje secreto y comprimido que la IA utiliza para entender la realidad. El artículo sostiene que las fronteras entre los modelos que reconocen cosas, los modelos que hablan de ellas y los modelos que las dibujan se están desdibujando. Todos convergen hacia una inteligencia más general y capaz de manejar la percepción, el razonamiento y la creación, todo al mismo tiempo.

La evolución de los ojos del robot

Para entender dónde estamos, tenemos que observar cómo han cambiado los "ojos" del robot. Durante más de una década, la herramienta dominante fue la Red Neuronal Convolucional (CNN). Puedes pensar en una CNN como un pequeño detective local. Tiene una pequeña lupa (un filtro) que desliza a través de una imagen, buscando patrones simples como bordes o esquinas. Es muy buena en este trabajo local y es excelente aprendiendo de pequeñas cantidades de datos porque tiene reglas integradas (sesgos inductivos) sobre cómo funciona el mundo, como "los objetos suelen tener partes cercanas entre sí". Sin embargo, este detective tiene un punto ciego: le cuesta conectar los puntos entre cosas que están lejos una de otra en la imagen. Podría ver la oreja de un perro y la cola de un perro, pero fallar al darse cuenta de que pertenecen al mismo perro si están en lados opuestos de la foto.

Luego llegó el Vision Transformer (ViT). Si la CNN es un detective local, el ViT es un chismoso global. En lugar de deslizar una lupa, rompe la imagen en pequeños trozos de rompecabezas (parches) y deja que cada pieza hable con todas las demás al mismo tiempo. Esto se logra mediante un mecanismo llamado "autoatención" (self-attention). De repente, el robot puede ver toda la imagen a la vez. Puede conectar instantáneamente la oreja y la cola, sin importar qué tan lejos estén. Esto hizo que la IA fuera increíblemente poderosa, pero esto tuvo un costo: estos modelos "chismosos" son hambrientos. Necesitan cantidades masivas de datos para aprender porque no tienen las mismas reglas integradas que las CNN; tienen que descubrir las reglas del mundo desde cero.

La gran convergencia: mezclando las herramientas

El artículo destaca una tendencia fascinante: los dos enfoques están empezando a fusionarse. Los investigadores se dieron cuenta de que el detective local y el chismoso global tienen fortalezas que el otro carece. Por eso, empezaron a construir Arquitecturas Híbridas. Imagina un equipo donde el detective local realiza el escaneo inicial para encontrar los bordes, y luego el chismoso global toma el control para entender toda la escena. Modelos como CoAtNet y MaxViT hacen exactamente esto. Utilizan capas convolucionales para obtener los detalles locales de manera eficiente y luego cambian a mecanismos de atención para comprender la imagen general. El artículo sugiere que esto no es solo una mezcla aleatoria; es una evolución necesaria para obtener lo mejor de ambos mundos: la eficiencia de datos de las CNN y el poderoso razonamiento de los Transformers.

El ascenso del cerebro "fundacional"

El siguiente gran salto descrito en el artículo es el movimiento hacia los Modelos Fundacionales. Estos son los "supercerebros" del mundo de la IA. En lugar de entrenar a un robot solo para reconocer gatos, los científicos comenzaron a entrenarlos con miles de millones de imágenes sin etiquetas (aprendizaje autosupervisado). Modelos como DINO y DINOv2 son ejemplos. Aprenden a entender la estructura del mundo simplemente mirando imágenes. Si les muestras una foto de un gato de frente y luego de lado, aprenden que estos son el mismo objeto, incluso sin que nadie les diga "eso es un gato".

El artículo explica que estos modelos se están volviendo tan buenos entendiendo las representaciones visuales que pueden usarse para casi cualquier cosa. DINOv3, por ejemplo, crea mapas tan detallados de una imagen que puedes usarlos para encontrar partes específicas de un objeto o emparejar objetos similares en diferentes fotos, todo sin necesidad de un entrenamiento específico para esas tareas. Es como si el robot hubiera aprendido la "gramática" de la visión, de modo que puede hablar cualquier "dialecto" (tarea) que se le pida.

Hablar y dibujar: Modelos multimodales y generativos

La historia se vuelve aún más emocionante cuando estos cerebros visuales empiezan a hablar y dibujar. Los modelos multimodales como CLIP e ImageBind conectan el mundo visual con el mundo de las palabras y los sonidos. CLIP aprende a emparejar imágenes con descripciones textuales. Es como enseñarle al robot que la imagen de un "atardecer" y las palabras "atardecer" significan lo mismo. ImageBind lleva esto más allá, vinculando imágenes con audio, profundidad e incluso sensores de movimiento, creando un espacio compartido único donde todos estos diferentes sentidos conviven.

Luego están los Modelos Generativos, específicamente los Modelos de Difusión. Estos son los artistas. No solo reconocen una imagen; crean una. Comienzan con un lienzo lleno de estática aleatoria (ruido) y, paso a paso, eliminan lentamente el ruido para revelar una imagen clara. El artículo señala que estos modelos ahora están utilizando los mismos cerebros "Transformer" que se usaban para el reconocimiento. Los Diffusion Transformers (DiT) reemplazan a los antiguos artistas convolucionales con los nuevos cerebros de chismosos globales, haciendo que la generación de arte sea más rápida y consistente. Incluso métodos más nuevos como Rectified Flow intentan hacer este proceso aún más directo, convirtiendo el viaje lento y ruidoso en una línea recta y suave.

El panorama general: Un lenguaje unificado

El hallazgo central de este artículo es que todos estos diferentes enfoques —CNN, Transformers, aprendizaje autosupervisado, sistemas multimodales y arte generativo— no son islas separadas. Todos están convergiendo en una forma única y unificada de pensar sobre la visión. Los autores argumentan que debemos dejar de verlos como herramientas diferentes y empezar a verlos como diferentes formas de construir y utilizar una representación latente.

Piensa en esta representación latente como un lenguaje secreto y comprimido que la IA utiliza para describir el mundo.

Las CNN construyen este lenguaje usando reglas locales.
Los Transformers lo construyen permitiendo que todo hable con todo.
Los Modelos Fundacionales aprenden este lenguaje leyendo toda la biblioteca de internet.
Los Modelos Generativos usan este lenguaje para escribir nuevas historias (crear imágenes).

El artículo sugiere que el futuro de la visión computacional no consiste en elegir un ganador. En cambio, se trata de construir una Inteligencia Visual de Propósito General. Estos futuros sistemas serán capaces de ver, entender, hablar y crear, todo dentro del mismo marco. Serán capaces de mirar una foto, explicar qué está sucediendo, responder preguntas sobre ella e incluso dibujar una nueva versión de la misma, todo porque comparten el mismo "cerebro" subyacente para comprender el mundo.

El camino por delante: Desafíos y sueños

Aunque el artículo es optimista sobre esta convergencia, también señala que aún no hemos llegado. Todavía hay algunos grandes obstáculos.

Eficiencia: Estos modelos masivos son hambrientos de potencia de cómputo. Hacer que funcionen en dispositivos pequeños (como teléfonos o robots) sigue siendo un desafío.
Confianza y Seguridad: Debido a que estos modelos son tan complejos, es difícil saber por qué toman ciertas decisiones. Si una IA médica dice que un paciente tiene una enfermedad, necesitamos saber si es correcta o si solo está adivinando. El artículo enfatiza la necesidad de un "despliegue confiable", lo que significa modelos que sean fiables y puedan explicarse a sí mismos.
Datos: Estos modelos necesitan enormes cantidades de datos de alta calidad. Encontrar suficientes datos buenos sin copiar todo de internet es un problema creciente.

En conclusión, este artículo pinta la imagen de un campo que está madurando. Nos estamos alejando de la construcción de robots especializados para tareas únicas (como solo contar coches) hacia la construcción de asistentes visuales universales que pueden aprender, razonar y crear. Las herramientas están cambiando, pero el objetivo se vuelve más claro: crear máquinas que vean el mundo no solo como una colección de píxeles, sino como una realidad rica e interconectada que pueden comprender e interactuar.

Título: Visión por Computadora Moderna: de las CNN a los Modelos Fundacionales: Un Marco Unificado para el Aprendizaje de Representaciones

Planteamiento del Problema
El campo de la visión por computadora ha evolucionado rápidamente, produciendo una diversa gama de arquitecturas y paradigmas que incluyen Redes Neuronales Convolucionales (CNN), Vision Transformers (ViT), modelos fundacionales y sistemas generativos basados en difusión. Si bien estos enfoques han logrado un rendimiento de vanguardia en dominios específicos, la literatura permanece fragmentada. Las encuestas existentes suelen centrarse en familias de modelos aisladas (por ejemplo, solo CNN o solo modelos de difusión) o en dominios de aplicación específicos, fallando al no proporcionar un relato unificado de cómo estos paradigmas se relacionan entre sí. En consecuencia, los principios matemáticos compartidos que subyacen a la visión por computadora moderna —específicamente la convergencia del aprendizaje discriminativo, multimodal y generativo— permanecen ocultos por perspectivas centradas en arquitecturas específicas. El desafío central es organizar este diverso ecosistema en un marco coherente que explique la transición de arquitecturas específicas de tareas hacia una inteligencia visual de propósito general.

Metodología
Esta encuesta adopta una perspectiva matemática unificada para analizar la evolución de la visión por computadora. En lugar de tratar las arquitecturas de forma aislada, los autores establecen un marco formal común basado en el aprendizaje de representaciones.

Marco Formal: El artículo define un modelo de visión como un mapeo paramétrico $f_\theta: \mathcal{X} \to \mathcal{Y}$ , donde $\mathcal{X}$ es el espacio de la imagen de entrada y $\mathcal{Y}$ es el espacio de salida dependiente de la tarea. El entrenamiento se formula como la minimización del riesgo empírico con una pérdida y regularización dependientes de la tarea. Esta formulación genérica permite la comparación de diversos modelos al interpretarlos como parametrizaciones alternativas de $f_\theta$ , distinguidas por sus sesgos inductivos y estrategias de optimización.
Análisis Taxonómico: La encuesta traza la progresión de las arquitecturas a través de este lente unificado:
1. CNN: Analizadas a través de su formulación matricial por capas, destacando la equivariancia a la traslación y la conectividad local como sesgos inductivos clave.
2. Vision Transformers (ViTs): Examinados como parametrizaciones basadas en la autoatención que modelan interacciones globales directamente, contrastando su falta de sesgos espaciales fuertes con las CNN.
3. Arquitecturas Avanzadas e Híbridas: El artículo revisa los desarrollos que abordan las limitaciones de los ViT (por ejemplo, complejidad cuadrática, necesidad de grandes volúmenes de datos) y la convergencia del procesamiento local y global. Esto incluye Transformers jerárquicos (por ejemplo, Swin), entrenamiento eficiente en datos (por ejemplo, DeiT) y modelos híbridos CNN-Transformer (por ejemplo, CoAtNet, MaxViT, CvT) que integran sesgos inductivos convolucionales con atención global.
4. Modelos Fundacionales y Multimodales: La encuesta analiza el aprendizaje autosupervisado (familia DINO) y la alineación multimodal (CLIP, ImageBind, LLLaVA), demostrando cómo el preentrenamiento a gran escala produce representaciones transferibles a través de tareas y modalidades.
5. Marcos Generativos: El artículo revisa los modelos de difusión, los Diffusion Transformers (DiT) y el Flujo Rectificado (Rectified Flow), interpretándolos como procesos inversos probabilísticos o EDOs de transporte deterministas dentro de espacios latentes.

Contribuciones Clave
El artículo realiza cuatro contribuciones primarias:

Evolución Arquitectónica: Revisa la progresión desde las CNN y los ViT hacia los modelos híbridos, resaltando explícitamente la convergencia de los mecanismos de aprendizaje de representaciones locales (convolucionales) y globales (basados en atención).
Modelos Fundacionales y Multimodales: Analiza el papel del aprendizaje autosupervisado (DINO, DINOv2, DINOv3) y los modelos fundacionales multimodales (CLIP, ImageBind, LLaVA) en la emergencia de sistemas de inteligencia visual de propósito general.
Marcos Generativos y Direcciones Futuras: Revisa los modelos de difusión, los DiTs y el Flujo Rectificado, discutiendo desafíos abiertos respecto a la eficiencia, la interpretabilidad y el despliegue confiable.
Perspectiva Formal Unificada: La contribución central es la síntesis de estos diversos paradigmas dentro de un único marco de aprendizaje de representaciones. Los autores demuestran que las CNN, los ViTs, los modelos autosupervisados, los sistemas multimodales y las arquitecturas generativas operan todos sobre el principio común de construir, transformar, alinear o generar representaciones latentes.

Resultados y Síntesis
El estudio no presenta nuevos resultados experimentales, sino que sintetiza la literatura existente para revelar una tendencia clara: los límites entre los paradigmas discriminativo, multimodal y generativo se vuelven progresivamente menos distintos.

Convergencia de Mecanismos: El análisis muestra que las arquitecturas modernas combinan cada vez más fortalezas complementarias. Por ejemplo, los modelos híbridos (CoAtNet, MaxViT) integran la eficiencia de datos y la localidad de las CNN con el modelado de contexto global de los Transformers.
Unificación de Objetivos de Aprendizaje: Se demuestra que los métodos autosupervisados (DINO) y los modelos multimodales (CLIP, ImageBind) aprenden representaciones que se generalizan a través de tareas y modalidades, yendo más allá de la optimización de una sola tarea.
Integración Generativa-Discriminativa: El artículo destaca cómo los modelos generativos (Difusión, DiT) utilizan cada vez más arquitecturas base de tipo Transformer y espacios latentes, desdibujando la línea entre el aprendizaje de representaciones y la generación de alta fidelidad.
Consistencia Matemática: Al aplicar la misma notación y definiciones formales en todas las secciones, el artículo demuestra que estos campos aparentemente distintos comparten principios matemáticos subyacentes, tales como la manipulación de espacios latentes $z = h_\theta(x)$ y la optimización de funciones de pérdida específicas (contraste, destilación, eliminación de ruido).

Significancia y Reivindicaciones
Los autores afirman que esta encuesta aborda una brecha crítica en la literatura al proporcionar una perspectiva matemática unificada sobre la visión por computadora moderna.

Reencuadre del Campo: El artículo argumenta que la visión por computadora moderna ya no debe verse como una colección de paradigmas aislados, sino como un ecosistema evolutivo de enfoques estrechamente relacionados. El cambio principal es de arquitecturas específicas de tareas hacia sistemas de aprendizaje de representaciones cada vez más generales.
Base para la Investigación Futura: Al identificar los principios compartidos que conectan el diseño arquitectónico, el aprendizaje autosupervisado, la alineación multimodal y el modelado generativo, la encuesta proporciona una base conceptual para comprender la emergencia de la inteligencia visual de propósito general.
Direcciones Futuras: El artículo plantea que el futuro del campo reside en modelos fundacionales escalables que integren el procesamiento local y global, la autosupervisión, la alineación multimodal y las capacidades generativas. Sin embargo, señala modestamente que aún existen desafíos significativos, incluyendo la eficiencia de datos, la escalabilidad computacional, la interpretabilidad y la necesidad de un despliegue confiable en entornos de misión crítica.

En resumen, el artículo postula que la evolución desde las CNN hacia los Modelos Fundacionales no es una serie de reemplazos inconexos, sino una convergencia continua hacia el aprendizaje de representaciones unificado, donde la distincción entre "ver", "razonar" y "generar" se integra cada vez más dentro de marcos matemáticos comunes.