MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

Resumen Técnico: MixedPEFT

Planteamiento del Problema
Los modelos de lenguaje preentrenados (PrLMs) suelen sufrir una degradación significativa del rendimiento cuando se despliegan en nuevos dominios debido a los cambios de dominio. Los métodos tradicionales de Adaptación de Dominio No Supervisada (UDA) abordan esto aprovechando datos de origen etiquetados y datos de destino no etiquetados. Sin embargo, los enfoques de UDA existentes dependen predominantemente del ajuste fino completo (full fine-tuning), lo cual es computacionalmente costoso, propenso al olvido catastrófico e impracticable para modelos a gran escala que superan los 100 millones de parámetros. Aunque los métodos de Ajuste Fino Eficiente en Parámetros (PEFT), como los Adapters y la Adaptación de Bajo Rango (LoRA), ofrecen una solución al actualizar solo subconjuntos de parámetros reducidos, su aplicación a la UDA ha sido limitada. La mayoría de los trabajos existentes se centran en métodos PEFT individuales o estrategias de entrenamiento secuencial que no logran explotar plenamente el potencial de la optimización simultánea tanto para la adaptación de dominio como para el rendimiento de la tarea, quedando a menudo por debajo de los modelos de referencia (baselines) de ajuste completo.

Metodología
El artículo propone MixedPEFT, un nuevo marco que combina arquitecturas PEFT personalizadas con un entrenamiento de objetivos mixtos para abordar la adaptación de dominio no supervisada. La metodología se basa en dos pilares fundamentales:

1. Unificación de PEFT Personalizada (Arquitectura):
   En lugar de depender de una única técnica PEFT, los autores emplean una "unión personalizada" que integra Adaptadores Invertibles y Adaptación de Bajo Rango (LoRA).

   • Adaptadores Invertibles: Elegidos por su capacidad para preservar la información mientras aprenden transformaciones específicas del dominio.
   • LoRA: Seleccionado por su eficiencia para capturar adaptaciones específicas de la tarea dentro de los mecanismos de atención con una carga computacional mínima.
   • Integración: Estos métodos se combinan de forma aditiva ($h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$) dentro de las capas del transformador. Esta configuración utiliza aproximadamente 7.68 millones de parámetros entrenables (7.055% de un modelo BERT-base), evitando la sobrecarga de parámetros mientras se aprovechan las fortalezas complementarias de ambas técnicas.

2. Entrenamiento de Objetivo Mixto (Optimización):
   El proceso de entrenamiento consta de dos fases diseñadas para optimizar simultáneamente la adaptación de dominio y el rendimiento de la tarea:

   • Fase 1 (Preentrenamiento de Adaptación de Dominio): El modelo se somete a un preentrenamiento continuo en datos de dominio de destino no etiquetados utilizando el objetivo de Modelado de Lenguaje Enmascarado (MLM). Solo se actualizan los parámetros PEFT.
   • Fase 2 (Ajuste Fino de Objetivo Mixto): La innovación central implica una función de pérdida unificada que optimiza simultáneamente el rendimiento de clasificación en datos de origen etiquetados y el MLM en datos de destino no etiquetados. La pérdida total se define como $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$. El parámetro de ponderación $\alpha$ se ajusta dinámicamente en función de los tamaños relativos de los conjuntos de datos de origen y de destino para asegurar una contribución equilibrada de ambos objetivos.

Contribuciones Clave
Los autores detallan tres contribuciones principales:

1. Enfoque Novedoso: Una estrategia de UDA eficiente en parámetros diseñada específicamente con una combinación de PEFT personalizada (Adaptadores Invertibles + LoRA) y una metodología de entrenamiento de objetivo mixto que optimiza simultáneamente los objetivos de adaptación de tarea y de dominio.
2. Validación Exhaustiva: Experimentos extensos en el conjunto de datos de Inferencia de Lenguaje Natural Multigénero (MNLI) a través de 20 cambios de dominio distintos, demostrando mejoras significativas sobre los baselines de ajuste completo y de los métodos eficientes en parámetros actuales.
3. Generalizabilidad: Demostración de que la metodología de objetivo mixto es efectiva cuando se integra con diferentes marcos de unificación, validada mediante experimentos utilizando tanto la unión personalizada como el marco UniPELT.

Resultados
Evaluado en el conjunto de datos MNLI, el método propuesto logró los siguientes resultados:

• Rendimiento vs. SOTA de PEFT: El enfoque de unión personalizada logró una puntuación media de Macro F1 del 76.39%, superando al estado del arte actual en parámetros eficientes (UDapter) por 1.41 puntos porcentuales y al enfoque secuencial previo de los autores por 0.95 puntos porcentuales.
• Rendimiento vs. Baselines de Ajuste Completo: Sorprendentemente, el método superó a los métodos tradicionales de UDA de ajuste completo, excediendo a DANN en 1.26 puntos porcentuales y a DSN en 0.86 puntos porcentuales, a pesar de utilizar solo el 7% de los parámetros entrenables en comparación con el 100% requerido por estos baselines.
• Eficiencia: El enfoque alcanzó el 96.7% del rendimiento del Límite Superior (entrenamiento supervisado completo en datos de destino).
• Estudios de Ablación: Los experimentos que compararon métodos PEFT individuales (solo Adaptadores Invertibles) contra el enfoque combinado confirmaron que las combinaciones de PEFT son esenciales para maximizar la efectividad del entrenamiento de objetivo mixto, ya que los métodos individuales no podían explotar plenamente el potencial de la estrategia de optimización simultánea.
• Estabilidad: El análisis de la desviación estándar indicó que las ganancias de rendimiento se lograron sin comprometer la estabilidad del modelo, mostrando una varianza comparable a la de los métodos establecidos.

Significancia
El artículo afirma establecer nuevos referentes para la adaptación de dominio no supervisada eficiente en parámetros. Demuestra que las combinaciones cuidadosamente diseñadas de métodos PEFT, cuando se asocian con una optimización concurrente de objetivo mixto, pueden superar tanto a los métodos eficientes en parámetros existentes como a los costosos enfoques tradicionales de ajuste completo. El trabajo sugiere que la sinergia entre técnicas PEFT complementarias y la optimización simultánea es un factor crítico para superar las limitaciones de los cambios de dominio sin el costo computacional del ajuste fino completo.