Reinforced Curriculum Pre-Alignment for Domain-Adaptive VLMs

Resumen Técnico: Reinforced Curriculum Pre-Alignment (RCPA) para VLMs Adaptables al Dominio

1. El Problema: El Dilema de la Adaptación de Dominio

Los Modelos de Lenguaje-Visión (VLMs) poseen capacidades generales excepcionales, pero fallan al enfrentarse a dominios especializados (como la imagenología médica o la geometría). El desafío central es la adaptación de dominio sin pérdida de capacidades generales. Actualmente, existen dos paradigmas con limitaciones críticas:

• Ajuste Fino Supervisado (SFT): Es eficaz para inyectar conocimiento especializado, pero provoca el olvido catastrófico, donde el modelo pierde sus habilidades de razonamiento general al sobreajustarse a la nueva distribución de datos.
• Aprendizaje por Refuerzo (RL): Métodos como GRPO ayudan a preservar la generalidad mediante la regularización KL, pero sufren de colapso de optimización en dominios nuevos. Esto ocurre porque, si el modelo no tiene conocimiento previo del dominio, no puede generar respuestas de calidad suficiente para obtener señales de recompensa útiles.

2. Metodología: El Marco RCPA

Los autores proponen Reinforced Curriculum Pre-Alignment (RCPA), un paradigma de post-entrenamiento que trata la adaptación como un proceso progresivo en lugar de uno monolítico. El método se basa en un núcleo de RL adaptado para tareas de respuesta corta (VQA), denominado GRPON, y se divide en dos fases coordinadas:

A. Fase de Pre-Alineación (Pre-Alignment):
Diseñada para "arrancar" el aprendizaje cuando el modelo carece de conocimiento. Utiliza un mecanismo de modulación progresiva mediante:

• Inyección de Prefijos de Respuesta (Answer-Prefix Injection): Se le entrega al modelo parte de la respuesta correcta como contexto. Esto reduce la dificultad de la tarea, aumenta la densidad de recompensas positivas y ayuda al modelo a establecer una base conceptual sólida.
• Programación de Umbrales (Step-Level Threshold Scheduling): El umbral de recompensa ($\delta$) comienza siendo bajo para permitir la exploración y el aprendizaje de conceptos básicos, y aumenta gradualmente para exigir precisión.

B. Fase de Alineación por Refuerzo (Reinforcement Alignment):
Una vez que el modelo tiene una base, se eliminan las restricciones de los prefijos y se pasa a una optimización de generación completa impulsada por recompensas para refinar el comportamiento y la fidelidad de las respuestas.

C. Módulos de Percepción de Currículo:
Para que la transición sea fluida, RCPA integra dos componentes inteligentes:

1. Curriculum Progress Perception (CPP): Regula la transición de la inyección de prefijos y el umbral de recompensa según la evolución del modelo.
2. Curriculum Difficulty Perception (CDP): Implementa un sistema de reponderación de muestras. Las muestras difíciles (con recompensas bajas) reciben más peso para maximizar el valor de aprendizaje, mientras que las fáciles se ponderan menos para evitar el sobreajuste.

3. Contribuciones Clave

• Nuevo Paradigma de Post-entrenamiento: Introduce la idea de una transición suave entre la imitación restringida y la optimización de generación libre.
• Mecanismo de Modulación Progresiva: Resuelve el problema del colapso de optimización en RL para modelos que no conocen el dominio de antemano.
• Optimización de la Eficiencia de Aprendizaje: Mediante el uso de CDP, el modelo se enfoca en los datos que realmente aportan conocimiento nuevo.

4. Resultados Experimentales

El modelo fue evaluado en tres dominios: COCO Caption (general), Geo170K (geometría) y OpenI (médico/rayos X).

• Desempeño en el Dominio: RCPA logra resultados competitivos con el Ajuste Fino Total (FFT). Por ejemplo, en Geo170K, su métrica CIDEr es comparable a la de FFT.
• Preservación de la Generalidad: A diferencia de FFT, que destruye las capacidades generales (caída drástica en MMMU y MME), RCPA mantiene niveles de desempeño casi idénticos al modelo base en benchmarks generales.
• Estabilidad: Los experimentos muestran que RCPA reduce la varianza de la actualización de la política en un 41% comparado con GRPO y presenta un crecimiento de recompensa mucho más estable y sostenible.

5. Significado y Conclusión

La importancia de este trabajo radica en haber encontrado un "punto dulce" entre la especialización y la generalización. RCPA demuestra que la adaptación de modelos fundacionales no debe ser un proceso de "todo o nada", sino un currículo estructurado. Este enfoque proporciona una vía práctica y escalable para construir agentes de IA que sean expertos en campos técnicos (medicina, ciencia, ingeniería) sin perder la versatilidad que los hace útiles en el mundo real.