📊 statistics

SiamJEPA: On the Role of Siamese Student Encoders in JEPA

Este artículo presenta SiamJEPA, un marco de aprendizaje autosupervisado que emplea codificadores estudiantes siameses dentro de una Arquitectura Predictiva de Incrustación Conjunta (JEPA) para demostrar que este diseño inspirado en el cerebro actúa como un regularizador eficaz, mejorando la separabilidad de las representaciones y la eficiencia del entrenamiento, al tiempo que supera a las variantes de JEPA de un solo codificador y a los Autoencoders Enmascarados.

Autores originales: Makoto Yamada

Publicado 2026-07-31

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Makoto Yamada

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a comprender el mundo sin darle un libro de texto o un profesor que califique sus tareas. Este es el mundo del aprendizaje auto-supervisado, una rama de la inteligencia artificial donde las computadoras aprenden jugando juegos con sus propios datos. En lugar de decirle "esto es un gato", se le muestra al robot una imagen de un gato con algunas partes cubiertas y se le pide que adivine qué falta. Si acierta, aprende algo nuevo. Durante mucho tiempo, la mejor manera de hacer esto era que el robot intentara redibujar los píxeles faltantes, como un niño intentando terminar un libro para colorear. Pero una idea más nueva y astuta llamada JEPA (Arquitectura Predictiva de Incrustación Conjunta) ha surgido. En lugar de intentar redibujar los detalles desordenados de la imagen, JEPA le pide al robot que prediga el significado de las partes faltantes en un lenguaje secreto y abstracto que la computadora entiende. Es como adivinar la trama de una película a partir de unos pocos fotogramas, en lugar de intentar redibujar cada uno de los fotogramas perfectamente.

Aquí está la gran pregunta: ¿Cómo nos aseguramos de que el robot no se rinda y diga que "todo es lo mismo" (un problema llamado "colapso")? Por lo general, los investigadores utilizan un único cerebro "estudiante" para hacer estas conjeturas. Pero un nuevo artículo plantea: ¿Qué pasaría si le diéramos al robot dos cerebros estudiantes trabajando juntos, como un par de gemelos que tienen que ponerse de acuerdo en la respuesta? Este artículo, titulado "SiamJEPA", explora precisamente si tener dos codificadores estudiantes (una configuración "siamesa") que observan versiones ligeramente diferentes de la misma imagen ayuda al robot a aprender mejor, más rápido y de manera más eficiente que el enfoque de un solo cerebro.

El Experimento de los Cerebros Gemelos

Los investigadores detrás de este estudio, liderados por Makto Yamada, decidieron construir un nuevo modelo llamado SiamJEPA. Para entender cómo funciona, imagina a dos estudiantes, Alex y Jordan, sentados en un aula. El profesor (una "red de profesor EMA") les muestra la foto de un perro, pero cubre una gran parte de ella con una caja negra.

En la forma antigua (JEPA de codificador único), solo Alex intenta adivinar qué hay debajo de la caja. En SiamJEPA, tanto Alex como Jordan reciben la foto, pero el profesor cubre partes diferentes para cada uno. A Alex se le ocultan las orejas del perro, mientras que a Jordan se le oculta la cola. Ambos tienen que adivinar las partes ocultas basándose en lo que pueden ver. Pero aquí está el giro: también tienen que asegurarse de que sus conjeturas sobre la imagen completa sean consistentes entre sí. Si Alex piensa que el perro está feliz y Jordan piensa que está enojado, tienen que dialogar y alinear su comprensión.

El artículo encuentra que esta configuración de "gemelos" actúa como un entrenador superpotente. Al obligar a los dos cerebros estudiantes a ponerse de acuerdo y a llenar los huecos del otro, el modelo aprende a separar las diferentes ideas mucho mejor. Es como tener a dos detectives resolviendo un misterio juntos; captan detalles que uno solo podría pasar por alto y no se confunden con pistas falsas.

Lo que Dicen los Números

Los investigadores probaron esto en un conjunto de datos masivo llamado ImageNet, que contiene millones de imágenes. Compararon su nuevo modelo de cerebro gemelo contra los modelos estándar de un solo cerebro y los modelos antiguos de "redibujar la imagen" (como MAE).

Los resultados fueron bastante alentadores. El modelo SiamJEPA aprendió a reconocer objetos con alta precisión usando 400 épocas de entrenamiento (un ciclo de entrenamiento). En comparación, los modelos más antiguos de "redibujar" necesitaron 1,600 épocas para alcanzar un nivel de habilidad similar. ¡Eso significa que el modelo de cerebro gemelo aprendió la misma lección en menos de una cuarta parte del tiempo! Incluso comparado con otros métodos modernos, SiamJEPA demostró que podía volverse muy bueno en la tarea mucho más rápido, especialmente en las etapas iniciales del entrenamiento.

El artículo también jugó con una "perilla" llamada peso de regularización KL (probando específicamente valores como 0.01 y 0.03). Esta perilla controla qué tan estrictamente deben estar de acuerdo los dos cerebros estudiantes. Los investigadores descubrieron que subir esta perilla (haciendo que acuerden más) ayudó al modelo a aprender más rápido y a desempeñarse mejor. Sin embargo, también señalaron que si se sube demasiado, el modelo podría estancarse o ralentizarse, lo que sugiere que existe una zona "Goldilocks" (punto óptimo) para cuánto deben estar de acuerdo los gemelos.

Lo que No Hace (y lo que No Reclama)

Es importante señalar lo que este artículo no está diciendo. Los autores son cuidadosos al declarar que no están afirmando haber construido el mejor modelo del mundo todavía. De hecho, admiten que su modelo no superó a los mejores modelos JEPA existentes (como I-JEPA) en la puntuación final, debido en gran parte a que entrenaron durante menos rondas (400 frente a 600). Sugieren explícitamente que con más ajuste y un entrenamiento más largo, los resultados podrían ser incluso mejores.

Tampoco afirman que esto funcione para cada situación. Sus experimentos se realizaron con imágenes. Aunque mencionan que ideas similares de cerebro gemelo funcionan bien para video, aún no han demostrado que esta configuración específica de SiamJEPA funcione perfectamente para videos o modelos más grandes y complejos como ViT-Huge. Sugieren que estas son preguntas importantes para investigaciones futuras.

La Conclusión

Entonces, ¿cuál es el gran tema? El artículo sugiere que darle a una IA de aprendizaje dos cerebros estudiantes que tengan que colaborar es un truco simple pero poderoso. Actúa como un "regularizador", que es una palabra elegante para una regla que mantiene el proceso de aprendizaje honesto y enfocado. En lugar de que el robot se confunda o se vuelva perezoso, la configuración de gemelos lo obliga a aprender una comprensión más clara y útil del mundo.

Los autores concluyen que este enfoque "siameso" no es solo una elección arquitectónica aleatoria; parece ser una forma fundamental de ayudar a la IA a aprender mejor. Es un poco como darse cuenta de que estudiar con un amigo suele ser más efectivo que estudiar solo, porque el amigo te ayuda a detectar errores y a llenar los huecos que ni siquiera sabías que estaban ahí. Aunque todavía queda trabajo por hacer para perfeccionar el método, este estudio ofrece un camino nuevo y prometedor para enseñar a las computadoras a comprender el mundo sin necesidad de un profesor humano que les lleve de la mano.

Resumen Técnico: SiamJEPA: Sobre el papel de los codificadores estudiantes siameses en JEPA

Planteamiento del Problema
Las Arquitecturas de Predicción de Embeddings Conjuntos (JEPA, por sus siglas en inglés), como I-JEPA y V-JEPA, han surgido como un marco prometedor para el aprendizaje de representaciones autosupervisado mediante la predicción de embeddings latentes de regiones enmascaradas en lugar de la reconstrucción de píxeles. Sin embargo, los modelos JEPA existentes emplean típicamente un único codificador en la red estudiante. Aunque los codificadores siameses (redes de doble estudiante) son un elemento fundamental en otros paradigmas de aprendizaje autosupervisado (SSL) (por ejemplo, BYOL, SimSiam) y en modelos inspirados en el cerebro como PhiNets, su papel específico y eficacia dentro del marco de predicción de espacio latente de JEPA permanecen en gran medida inexplorados. El artículo aborda la pregunta: ¿Qué papel juegan los codificadores estudiantes siameses en las Arquitecturas de Predicción de Embeddings Conjuntos?

Metodología: SiamJEPA
Los autores proponen SiamJEPA, una arquitectura de predicción latente enmascarada que integra codificadores estudiantes siameses en el marco de JEPA. La arquitectura consta de:

Codificadores Estudiantes Siameses: Dos vistas enmascaradas de forma independiente de la imagen de entrada son procesadas por dos codificadores estudiantes ( $f$ ) con pesos compartidos. Los conjuntos de enmascaramiento ( $M_1$ y $M_2$ ) son disjuntos para evitar el aprendizaje de atajos (shortcut learning).
Red de Profesor EMA: Un promedio móvil exponencial (EMA) de los pesos del estudiante ( $f_{ema}$ ) sirve como red objetivo, similar a los paradigmas estándar de JEPA y BYOL.
Redes Predictoras:
- Alineación Global ( $h$ ): Un predictor lineal alinea las representaciones globales (CLS) de las dos ramas siamesas.
- Predicción Latente ( $g$ ): Un predictor probabilístico (basado en un transformador) predice las representaciones latentes de los tokens enmascarados. Utiliza una distribución posterior condicionada por ambas vistas y una distribución a priori condicionada por una sola vista.
Funciones de Pérdida: El modelo optimiza dos objetivos complementarios:
- Sim-1 (Divergencia KL): Minimiza la divergencia de Kullback–Leibler entre la posterior (inferida a partir de ambas vistas) y la a priori (inferida a partir de una sola vista). Se aplica un operador de parada de gradiente (stop-gradient) a la rama a priori.
- Sim-2 (NMSE): Minimiza el error cuadrático medio normalizado entre los tokens enmascarados predichos y los tokens enmascarados reales de la red docente.
Formulación Unificada: El marco incluye un parámetro de regularización ( $\lambda_{KL}$ ) que controla la influencia de la pérdida de consistencia siamesa. Establecer $\lambda_{KL} = 0$ recupera un JEPA de un solo codificador, lo que permite una ablación sistemática del componente siamés.

Contribuciones Clave

Propuesta de SiamJEPA: Un marco de predicción latente unificado que extiende JEPA con codificadores estudiantes siameses, formulado como una extensión continua donde la contribución siamesa se controla mediante un parámetro de regularización.
Investigación Sistemática: El primer estudio sistemático de los codificadores estudiantes siameses dentro de JEPA, demostrando que actúan como un regularizador efectivo que restringe el espacio de representación.
Eficiencia de Entrenamiento: Evidencia de que la predicción latente con codificadores siameses es sustancialmente más eficiente en entrenamiento que los métodos basados en reconstrucción (como MAE), logrando un rendimiento competitivo con significativamente menos épocas.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos ImageNet-1K utilizando un backbone ViT-Base para la evaluación de linear probing:

Rendimiento vs. Épocas: SiamJEPA alcanzó una precisión de linear probing Top-1 del 70.7% tras 400 épocas. Esto superó significativamente a MAE (61.9% a 400 épocas) y fue comparable a MAE entrenado durante 1600 épocas (68.0%).
Papel de los Codificadores Siameses: Los estudios de ablación sobre el peso de regularización KL ( $\lambda_{KL}$ ) revelaron que aumentar $\lambda_{KL}$ (por ejemplo, a 0.01 o 0.03) mejoró consistentemente el rendimiento en comparación con un ajuste cercano a cero ( $\lambda_{KL} = 0.00001$ , efectivamente un JEPA de un solo codificador).
Velocidad de Convergencia: Los modelos con un $\lambda_{KL}$ más alto convergieron más rápido, alcanzando niveles de rendimiento en 200 épocas que el ajuste de regularización más débil solo logró en 400 épocas.
Estrategia de Enmascaramiento: Se encontró que el enmascaramiento por bloques (block masking) era más efectivo que el enmascaramiento aleatorio, particularmente en las etapas tempranas del entrenamiento, aunque el enmascaramiento aleatorio se mantuvo competitivo con un ajuste cuidadoso.
Extracción de Representación: El uso de mean pooling de la capa 10 (intermedia) produjo resultados ligeramente mejores en las etapas tempranas del entrenamiento, mientras que la capa 12 (final) eventualmente igualó o superó este resultado, sugiriendo que diferentes capas capturan semántica transferible en diferentes etapas del entrenamiento.

Significado y Reivindicaciones
El artículo sostiene que los codificadores estudiantes siameses no son meramente una elección arquitectónica, sino que constituyen un sesgo inductivo crítico para el aprendizaje de representaciones predictivas. Los hallazgos sugieren que:

La arquitectura siamesa actúa como un regularizador que mejora la separabilidad de las representaciones y acelera el aprendizaje, particularmente en las etapas iniciales del entrenamiento.
La incorporación de arquitecturas de estudiantes siamesas ofrece un enfoque simple pero efectivo para mejorar el aprendizaje de representaciones autosupervisado, proporcionando una alternativa más eficiente a los métodos basados en reconstrucción.
Los resultados proporcionan nuevas perspectivas para el diseño de modelos basados en JEPA, sugiriendo que la arquitectura PhiNet (que utiliza codificadores siameses), inspirada en el cerebro, puede adaptarse eficazmente para el aprendizaje de representaciones de imágenes generales mediante la predicción latente.

Los autores mantienen la modestia respecto al rendimiento absoluto del estado del arte, señalando que su objetivo principal era validar el papel de los codificadores siamesos dentro de JEPA en lugar de maximizar las puntuaciones de los benchmarks. Reconocen que la optimización adicional de hiperparámetros y el escalado a modelos más grandes (ViT-Large/Huge) son necesarios para trabajos futuros.

El Experimento de los Cerebros Gemelos

Lo que Dicen los Números

Lo que No Hace (y lo que No Reclama)

La Conclusión

Más como este