💻 computer science

SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

El artículo introduce SAMPLe, un optimizador consciente de la nitidez diseñado para resolver el dilema entre rendimiento y generalización en el aprendizaje de prompts de modelos de visión y lenguaje mediante el equilibrio dinámico entre la exploración y la explotación para reducir el sobreajuste y mejorar la adaptabilidad a datos no vistos en diversos marcos de trabajo.

Autores originales: Hossein Rajoli, Fatemeh Lotfi, Niloufar Alipour Talemi, Hossein Kashiani, Xiaolong Ma, Fatemeh Afghah

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hossein Rajoli, Fatemeh Lotfi, Niloufar Alipour Talemi, Hossein Kashiani, Xiaolong Ma, Fatemeh Afghah

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot súper inteligente y preentrenado (como CLIP) que ha leído millones de libros y visto millones de imágenes. Ya es muy bueno comprendiendo el mundo. Sin embargo, quieres enseñarle un truco específico nuevo, como identificar flores raras o detectar modelos de coches específicos.

En el pasado, la gente intentaba "ajustar" (fine-tuning) todo el robot, pero eso es como intentar recablear una supercomputadora solo para aprender un nuevo juego de cartas: es costoso y el robot suele olvidar sus habilidades anteriores o se confunde.

En su lugar, los investigadores utilizan el Aprendizaje de Prompts (Prompt Learning). Piensa en esto como darle al robot una "hoja de trucos" específica o un conjunto de palabras clave mágicas (llamadas prompts) para ayudarlo a concentrarse en la nueva tarea. El cerebro del robot permanece congelado, y nosotros solo ajustamos estas pocas palabras clave.

El Problema: El Estudiante "Sobreconfiado"

El artículo identifica un problema importante con este enfoque. Cuando ajustamos estas palabras clave para obtener una puntuación perfecta en nuestros ejemplos de entrenamiento (los datos "vistos"), el robot suele volverse demasiado confiado y demasiado específico.

Imagina a un estudiante que memoriza las respuestas exactas de un examen de práctica. Obtiene un 100% en el examen de práctica, pero si le haces una pregunta ligeramente diferente en el examen real, falla. En el lenguaje del artículo, el robot ha encontrado un "mínimo agudo" (sharp minimum).

Mínimo Agudo: Un punto en el mapa donde la puntuación es alta, pero si das incluso un paso minúsculo en cualquier dirección, la puntuación se desploma. Es como equilibrar una pelota en la punta de una aguja. Es estable solo si nada se mueve.
Mínimo Plano: Un punto donde la puntuación es alta, pero el terreno es ancho y plano. Si das un paso, la puntuación se mantiene alta. Es como una pelota situada en un valle ancho. Es robusto y puede manejar baches.

Los métodos actuales para enseñar estos prompts tienden a poner al robot en la "punta de la aguja". Funciona de maravilla en los datos de entrenamiento, pero falla estrepitosamente cuando se enfrenta a datos nuevos y no vistos (como un tipo diferente de flor o un coche con mal tiempo).

La Solución: SAMPLe (El Entrenador que Prioriza la Seguridad)

Los autores presentan una nueva herramienta llamada SAMPLe (Minimización de la Agudeza en el Aprendizaje de Prompts). Puedes pensar en SAMPLe como un entrenador muy inteligente al que no solo le importa la puntuación actual, sino también qué tan estable es esa puntuación.

Así es como funciona SAMPLe, usando una analogía sencilla:

1. La Prueba del "¿Qué pasaría si...?" (Exploración vs. Explotación)
La mayoría de los entrenadores solo dicen: "¡Corre más rápido para obtener un mejor tiempo!" (Esto se llama Explotación). Te presionan para llegar al punto absolutamente mejor en el mapa actual.
SAMPLe es diferente. Antes de que el robot se asiente en un punto, SAMPLe pregunta: "Está bien, estás en un gran lugar. Pero, ¿qué pasaría si dieras un pequeño paso a la izquierda? ¿O un paso a la derecha? ¿Seguirías haciéndolo bien?"

Si la respuesta es "No, me caería por un precipicio", SAMPLe dice: "De acuerdo, este punto es demasiado agudo. Vamos a un área más plana".
Si la respuesta es "Sí, sigo haciéndolo genial", SAMPLe dice: "¡Genial! Este es un lugar ancho y seguro. Quedémonos aquí".

2. La Danza de los "Dos Pasos"
El artículo explica que SAMPLe realiza una danza especial con los pasos de aprendizaje del robot:

Paso A (El Empuje): Observa los datos actuales y dice: "Ve por este camino para mejorar tu puntuación".
Paso B (La Verificación de Seguridad): Luego observa el historial completo de los datos para ver si esa dirección es demasiado arriesgada. Calcula un "vector de seguridad" que aleja al robot de los bordes peligrosos y agudos del paisaje de aprendizaje.
El Resultado: El robot se mueve en una dirección que mejora la puntuación pero que también lo mantiene en el valle ancho y seguro.

3. Por qué es Mejor que Otros
El artículo compara SAMPLe con otros métodos (como SAM, F-SAM y SAGM).

Métodos Antiguos: Algunos son demasiado agresivos y presionan demasiado al robot, haciéndolo inestable. Otros son demasiado rígidos y no se adaptan bien al "terreno" cambiante de los datos.
SAMPLe: Es como un excursionista experimentado. Sabe cuándo presionar fuerte para subir una colina (explotar) y cuándo deambular ligeramente para encontrar un camino más seguro y ancho (explorar). Ajusta dinámicamente su estrategia basándose en cómo se siente el robot en ese momento exacto.

Los Resultados: Un Robot Más Robusto

Los autores probaron SAMPLe en 11 conjuntos de datos de imágenes diferentes (como reconocer mascotas, coches, flores y aviones) y lo compararon con los mejores métodos existentes.

El Equilibrio entre "Base" y "Nuevo": En estas pruebas, el robot es entrenado en algunas categorías (Base) y luego es probado en otras nuevas que nunca ha visto (Nuevo).
La Victoria: SAMPLe logró consistentemente el mejor equilibrio. No solo obtuvo una puntuación alta en los datos de entrenamiento; mantuvo sus altas puntuaciones al enfrentarse a datos nuevos y complicados.
La Metáfora: Si otros métodos fueran como un estudiante que memorizó el libro de texto pero falló en el examen sorpresa, SAMPLe era el estudiante que entendió los conceptos tan bien que podía responder cualquier pregunta, incluso aquellas que no estaban en el libro.

Resumen

SAMPLe es una nueva forma de enseñar tareas nuevas a los modelos de IA sin romper su capacidad para manejar lo inesperado. En lugar de simplemente perseguir la puntuación más alta en los datos de entrenamiento, busca una "zona segura" donde el modelo sea tanto preciso como robusto. Asegura que la IA no solo memorice las respuestas, sino que aprenda a generalizar, convirtiéndola en una herramienta mucho más fiable para aplicaciones del mundo real donde los datos siempre están cambiando.

Resumen Técnico: SAMPLe: Un optimizador basado en la Minimización de Conciencia de la Agudeza para el Aprendizaje de Prompts en Modelos de Visión y Lenguaje

Planteamiento del Problema
Los modelos de visión y lenguaje (VLM) preentrenados, como CLIP, sirven como potentes modelos fundacionales para aplicaciones de tareas descendentes. Sin embargo, adaptar estos modelos mediante el aprendizaje de prompts presenta un dilema significativo entre rendimiento y generalización. Si bien el aprendizaje de prompts permite una adaptación de tareas eficiente mediante el ajuste de un conjunto limitado de parámetros aprendibles (prompts) mientras se mantiene congelado el esqueleto (backbone), esta restricción a menudo conduce al sobreajuste. El espacio de parámetros limitado hace que el proceso de optimización sea altamente sensible, causando frecuentemente que los modelos converjan hacia "mínimos agudos" en el paisaje de la pérdida. Estas soluciones agudas producen una alta precisión en las distribuciones de entrenamiento observadas, pero sufren de una pobre generalización ante datos o clases no vistas. Los métodos existentes de Minimización de Conciencia de la Agudeza (SAM) intentan abordar esto buscando mínimos más planos, pero a menudo fallan al equilibrar el compromiso entre la minimización de la pérdida de entrenamiento (explotación) y la exploración de regiones planas (exploración), particularmente cuando se aplican al subespacio restringido del aprendizaje de prompts.

Metodología: SAMPLe
Los autores proponen SAMPLe (Aprendizaje de Prompts con Minimización de Conciencia de la Agudeza), un optimizador agnóstico al modelo diseñado específicamente para mejorar la capacidad de generalización de los prompts en VLMs. A diferencia de los optimizadores convencionales o de las variantes estándar de SAM (por ejemplo, F-SAM, SAGM) que pueden aplicar perturbaciones uniformes o depender de hiperparámetros heurísticos, SAMPLe introduce un marco de objetivo dual que se adapta dinámicamente al estado de optimización actual.

El núcleo de SAMPLe involucra tres mecanismos estratégicos:

Optimización de Objetivo Dual: El método optimiza para un mínimo de pérdida que es simultáneamente bajo en la pérdida de entrenamiento y plano en el paisaje de la pérdida. Esto asegura estabilidad y robustez sin sacrificar la precisión en los datos observados.
Alineación de Gradiente y Ortogonalidad: SAMPLe asegura que las actualizaciones de gradiente computadas en un punto desviado (perturbado por SAM) estén coherentemente alineadas con los gradientes de Minimización del Riesgo Empírico (ERM). Crucialmente, restringe las actualizaciones de gradiente de SAM en el punto perturbado para que sean ortogonales al gradiente de lote completo (full-batch).
- Descompone el gradiente de mini-lote en un componente alineado con el gradiente de lote completo y un componente "específico del lote" ortogonal a este.
- La función objetivo incluye términos que dirigen el gradiente perturbado hacia el componente específico del lote (exploración) mientras resisten el componente de lote completo (el cual puede llevar al sobresuavizado y a una reducción de la generalización).
Adaptación Dinámica: El optimizador equilibra automáticamente la explotación (minimización de la pérdida ERM) y la exploración (búsqueda de mínimos planos) en cada iteración basándose en la curvatura local y las propiedades del gradiente, en lugar de depender de hiperparámetros fijos.

El análisis teórico en el artículo demuestra que, bajo supuestos estándar (gradientes acotados y continuidad K-Lipschitz), SAMPLe converge con una tasa de $O(\frac{\log T}{\sqrt{T}})$ , comparable a SGD y Adam.

Contribuciones Clave

Optimizador Novedoso: Introducción de SAMPLe, el primer optimizador basado en SAM diseñado específicamente para el aprendizaje de prompts en VLMs, definiendo un marco de objetivo dual que equilibra adaptativamente la baja pérdida ERM y los mínimos planos.
Perspectiva Teórica: Un análisis que establece las limitaciones de los métodos de conciencia de la agudeza existentes en el contexto del espacio de parámetros limitado del aprendizaje de prompts, motivando la necesidad de un enfoque adaptativo de objetivo dual.
Evaluación Exhaustiva: Experimentos extensos integrando SAMPLe en múltiples marcos de aprendizaje de prompts (CoOp, CoCoOp, MaPLe, TCP y Co-Prompt) a través de diversos conjuntos de datos.

Resultados Experimentales
El artículo evalúa SAMPLe a través de tres configuraciones principales utilizando 11 conjuntos de datos de clasificación de imágenes y varias variantes de ImageNet:

Generalización de Base-a-Nuevo: En escenarios de aprendizaje de pocos disparos (few-shot learning), SAMPLe mejora consistentemente la media armónica (HM) de las precisiones de las clases base y de las clases nuevas en comparación con las líneas base y otras variantes de SAM (SAM, F-SAM, SAGM). Por ejemplo, en promedio, CoOp mejoró de 77.65 (con SAGM) a 78.88 con SAMPLe.
Generalización Zero-Shot de Cruzamiento de Datasets: Cuando los modelos entrenados en ImageNet son probados en 10 conjuntos de datos objetivo no vistos sin ajuste fino (fine-tuning), SAMPLe aumenta consistentemente el rendimiento de transferencia. Para CoOp, el promedio de precisión aumentó de 63.88% a 65.85%.
Generalización de Cruzamiento de Dominios: En variantes de ImageNet que representan cambios de distribución (V2, Sketch, Adversarial, Rendition), SAMPLe mejoró la robustez. CoOp+SAMPLe alcanzó una precisión promedio de 60.41%, superando al CoOp estándar (59.28%) y a otras líneas base fuertes.

Los resultados indican que SAMPLe logra un compromiso más estable entre la especialización en clases base y la transferencia a clases no vistas, superando a menudo a los métodos de vanguardia sin degradar drásticamente el rendimiento en las distribuciones observadas.

Significancia y Reivindicaciones
El artículo afirma que SAMPLe establece una solución robusta y agnóstica al modelo para el aprendizaje de prompts al abordar directamente la naturaleza propensa al sobreajuste del espacio de parámetros aprendibles limitado en los VLMs. Al incorporar la conciencia del paisaje de la pérdida y equilibrar dinámicamente la exploración y la explotación, SAMPLe preserva el potencial de generalización de los modelos preentrenados. Los autores sostienen que su enfoque eleva los marcos de aprendizaje de prompts existentes, proporcionando un aumento de rendimiento consistente a través de diversos entornos y demostrando que la optimización cuidadosa del paisaje de la pérdida es crítica para un aprendizaje de prompts efectivo en los VLMs.

El Problema: El Estudiante "Sobreconfiado"

La Solución: SAMPLe (El Entrenador que Prioriza la Seguridad)

Los Resultados: Un Robot Más Robusto

Resumen

Más como este