Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

Título: Ajustado a Instrucciones, pero no Más Verificable en el Seguimiento de Instrucciones: Un Diagnóstico Transversal para Adaptadores LoRA

1. El Problema

Los adaptadores (como LoRA) se seleccionan y despliegan frecuentemente basándose en etiquetas nominales (por ejemplo, "ajustado a instrucciones", "ajustado a razonamiento numérico"). Estas etiquetas implican tácitamente que la capacidad correspondiente mejora tras la adaptación. Sin embargo, el artículo plantea una pregunta crítica para el despliegue: ¿Las etiquetas nominales de entrenamiento predicen de manera fiable las ganancias reales de capacidad en tareas cruzadas (cross-task)?

Específicamente, los autores investigan si un adaptador etiquetado como "ajustado a instrucciones" mejora realmente el seguimiento estricto y automáticamente verificable de instrucciones, o si, paradójicamente, mejora otras capacidades no objetivo mientras falla en la tarea nominal.

2. Metodología

El trabajo se enmarca como un diagnóstico empírico transversal (cross-task diagnosis) en lugar de una innovación de métricas o una atribución mecánica profunda.

• Configuración Experimental:
  • Modelos Base: Se utilizaron varios modelos base (Qwen3-8B, Qwen3-14B, Llama3.1-8B, Qwen2.5-7B).
  • Adaptadores LoRA: Se entrenaron adaptadores con objetivos nominales distintos: instr (ajustado a instrucciones) y reason (ajustado a razonamiento numérico).
  • Tareas y Métricas:
    1. Razonamiento Numérico: Métrica de coincidencia numérica (NM - Numeric Match).
    2. Seguimiento de Instrucciones Verificable: Se utilizó IFEval (Instruction Following Evaluation), que mide restricciones estrictas y automáticamente verificables. Se reportaron dos métricas: Precisión a nivel de instrucción (ILA) y Precisión a nivel de prompt (PLA).
    3. QA de Dominio: Evaluación secundaria.
• Métrica de Diagnóstico (Drift Score):
  Los autores definieron una "Puntuación de Desviación" (Drift Score) para cuantificar la discrepancia entre la ganancia en la tarea objetivo y la ganancia en tareas fuera de objetivo:
  $$\text{DriftScore}(a \to b) = \text{OffTargetGain}(a, b) - \text{TargetGain}(a)$$
  Donde un valor positivo alto indica que las ganancias en tareas no objetivo superan a las de la tarea nominal, o que la tarea nominal no mejora mientras otras sí.

3. Contribuciones Clave

El artículo presenta tres contribuciones restringidas alineadas con la evidencia experimental:

1. Marco de Diagnóstico Desplegable: Formulan un enfoque para probar si la etiqueta nominal de un adaptador se alinea con las ganancias reales de capacidad bajo evaluación transversal.
2. Evidencia de Robustez: Demuestran que la discrepancia entre lo nominal y lo real es recurrente (a través de múltiples semillas, modelos base y configuraciones LoRA), aunque sensible a la configuración (incluyendo casos cercanos a cero o ligeramente negativos).
3. Contraejemplo Controlado: Proporcionan un caso de estudio donde un adaptador "ajustado a instrucciones" mejora sustancialmente el rendimiento en un benchmark numérico no objetivo, pero no mejora (e incluso degrada) el seguimiento estricto de instrucciones en IFEval.

4. Resultados Principales

• Desajuste Nominal-Realizado (Capability Drift):
  • En el caso más ilustrativo (Tabla 1), un adaptador instruction-tuned aumentó el rendimiento en el benchmark numérico (NM) de 0.133 a 0.632, pero no mejoró el seguimiento verificable en IFEval (la PLA bajó de 0.250 a 0.143 y la ILA de 0.313 a 0.271).
  • Esto demuestra que el ajuste nominal no garantiza la mejora en la capacidad nominal bajo restricciones estrictas.
• Robustez y Sensibilidad:
  • La tendencia de desviación positiva (mejora en tareas no objetivo vs. estancamiento en la objetivo) se mantuvo a través de 5 semillas en Qwen3-8B y en múltiples modelos base.
  • Sin embargo, la magnitud es sensible a la configuración: se identificó un caso específico (Qwen2.5-7B con una configuración LoRA particular) donde la puntuación de desviación fue ligeramente negativa (-0.040), indicando que el patrón no es universal pero sí recurrente.
• Heterogeneidad de Benchmarks:
  • Al probar otros benchmarks de seguimiento de instrucciones (FollowBench, IFBench), los resultados fueron mixtos. Mientras que IFEval e IFBench (enfoque estricto) mostraron falta de mejora, FollowBench (enfoque diferente) sí mostró mejoras. Esto confirma que "seguimiento de instrucciones" no es un concepto único y depende de la operacionalización del benchmark.
• Análisis de Desglose (IFEval):
  • El análisis por categorías reveló que la falta de mejora no fue uniforme. Ciertas restricciones (como "keywords:existence") sufrieron grandes caídas, mientras que otras mejoraron ligeramente, sugiriendo un desplazamiento selectivo en lugar de una mejora general.

5. Significado e Implicaciones

• Advertencia sobre Etiquetas Nominales: Las etiquetas como "instruction-tuned" no deben tratarse como proxies fiables de capacidad real para el despliegue. Un modelo puede parecer mejor en una tarea específica (ej. matemáticas) debido a un ajuste de instrucciones, sin haber mejorado realmente la adherencia a restricciones estrictas.
• Necesidad de Evaluación Transversal: El mensaje práctico principal es realizar evaluaciones transversales rutinarias antes del despliegue. No basta con evaluar el modelo solo en su tarea nominal de entrenamiento.
• Distinción Conceptual: El ajuste a instrucciones (instruction tuning) no debe confundirse con la mejora en el cumplimiento verificable y estricto de instrucciones. El primero puede alterar los priores de respuesta (estilo, formato) de manera que ayude a benchmarks específicos sin garantizar la satisfacción de restricciones lógicas.
• Limitaciones: Los autores reconocen que sus hallazgos son empíricos y específicos de los modelos y tareas evaluados. No ofrecen una explicación mecánica definitiva (causal) de por qué ocurre este desplazamiento, aunque descartan explicaciones simples de módulos localizados.

En resumen, el paper advierte que la adaptación eficiente de parámetros (LoRA) puede introducir desviaciones de capacidad inesperadas, donde la etiqueta de entrenamiento engaña sobre las capacidades reales del modelo en entornos de producción, especialmente en lo que respecta al cumplimiento estricto de instrucciones.