🤖 machine learning

Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

El artículo demuestra que la entropía de anotación predice dinámicas de aprendizaje específicas en el ajuste fino con LoRA, donde ejemplos con alto desacuerdo entre anotadores muestran un aumento en la pérdida durante el entrenamiento, un fenómeno cualitativamente distinto que no se observa en el ajuste fino completo y que se mantiene consistente en múltiples modelos y conjuntos de datos.

Autores originales: Brady Steele

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Brady Steele

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un grupo de estudiantes (los modelos de inteligencia artificial) para que aprendan a resolver un examen muy difícil de lógica. El examen tiene preguntas que la mayoría de la gente responde igual, pero también tiene preguntas donde los expertos discuten y no se ponen de acuerdo.

Este paper es como un informe de un investigador que descubrió algo muy curioso y un poco triste sobre cómo aprenden estos estudiantes cuando usamos un método de entrenamiento especial llamado LoRA.

Aquí te explico los hallazgos clave con analogías sencillas:

1. El problema de las "Preguntas Controversiales"

En el examen, hay tres tipos de preguntas:

Fáciles: Todos los humanos están de acuerdo en la respuesta.
Ambiguas: Hay un poco de duda, pero la mayoría sabe la respuesta.
Controversiales: Los humanos están totalmente divididos. Algunos dicen "A", otros "B", y nadie está seguro.

El investigador midió esta "división humana" (lo que llama entropía de anotación) y la comparó con cómo aprendía el estudiante.

2. La analogía del "Entrenador con Manos Atadas" (LoRA)

Normalmente, si entrenas a un estudiante con todos sus recursos (lo que se llama Fine-Tuning completo), el estudiante estudia las preguntas fáciles primero, luego las difíciles, y al final, incluso las controversiales, aunque cueste más, las termina entendiendo.

Pero, cuando usamos LoRA, es como si le pusieramos manos atadas al estudiante. Solo puede usar una parte muy pequeña de su cerebro (una "capacidad reducida") para aprender.

Lo que descubrieron:

Con las manos atadas (LoRA), el estudiante aprende muy rápido las preguntas fáciles.
Pero con las preguntas controversiales, ocurre algo extraño: el estudiante empieza a olvidarlas.
Al principio, el estudiante intenta responderlas, pero a medida que avanza el entrenamiento, su error en estas preguntas aumenta. Es como si, al enfocarse tanto en las reglas claras para aprobar el examen, empezara a confundirse más con las preguntas donde nadie está de acuerdo.
El paper llama a esto "desaprendizaje" (un-learning). No es que el estudiante se vuelva tonto, es que su cerebro "pequeño" (LoRA) elige sacrificar las dudas para dominar lo seguro.

3. La predicción del caos

Lo más increíble es que el investigador pudo predecir qué preguntas harían que el estudiante se confundiera, solo mirando cuánto discutían los humanos sobre ellas.

Más discusión humana = Más confusión del estudiante.
Funcionó en todos los modelos que probaron (desde modelos pequeños como un ratón hasta modelos grandes como un elefante).
Curiosamente, los modelos que solo "leen" (decodificadores) mostraron esta confusión de manera aún más clara que los que "leen y escriben" (codificadores).

4. ¿Por qué pasa esto? (La metáfora del mapa)

Imagina que el conocimiento es un territorio que el estudiante debe recorrer.

Entrenamiento completo: El estudiante tiene un mapa gigante. Puede dibujar un camino para las preguntas fáciles y otro camino separado para las preguntas difíciles sin chocar.
LoRA (Manos atadas): El estudiante solo tiene un mapa muy pequeño y estrecho. Tiene que dibujar todo en un solo camino estrecho.
- Para que el camino sea claro y directo (para las preguntas fáciles), tiene que borrar las curvas complicadas (las preguntas controversiales).
- Al intentar forzar las preguntas controversiales en ese camino estrecho, el estudiante se pierde y su error aumenta. Es un choque de tráfico en su cerebro: no puede satisfacer a ambos grupos de opiniones al mismo tiempo con tan poco espacio.

5. La conclusión práctica

Si estás entrenando una Inteligencia Artificial para tareas donde hay mucha ambigüedad (como juzgar si un texto es tóxico, o si un diagnóstico médico es correcto, donde los expertos a veces discuten), usar LoRA con una capacidad muy baja podría ser contraproducente.

El modelo podría estar "olvidando" activamente los casos difíciles y controversiales para centrarse en los obvios. Si necesitas que la IA entienda los matices y las dudas, quizás necesites darle más "espacio" (un LoRA de mayor rango) o usar métodos de entrenamiento diferentes.

En resumen:
El papel nos dice que cuando le ponemos "manos atadas" a una IA para que aprenda rápido (LoRA), tiende a ignorar o incluso empeorar su comprensión de las cosas que a los humanos les cuestan decidir. La IA prefiere ser segura en lo fácil, a ser confusa en lo difícil.

1. Problema y Motivación

El aprendizaje de redes neuronales sigue un orden consistente: los ejemplos "fáciles" se aprenden antes que los "difíciles". Sin embargo, la mayoría de los métodos existentes para medir la dificultad de un ejemplo (como la "Cartografía de Conjuntos de Datos") dependen de métricas endógenas (derivadas del propio modelo durante el entrenamiento), lo que limita su capacidad para explicar por qué un ejemplo es difícil de forma independiente del modelo.

Además, con el auge del Ajuste Fino Eficiente de Parámetros (PEFT), específicamente LoRA (Low-Rank Adaptation), surge una pregunta crítica: ¿Cómo afecta la restricción de rango de LoRA al orden de aprendizaje de ejemplos individuales, especialmente aquellos con ambigüedad lingüística genuina?

El artículo aborda la falta de comprensión sobre cómo LoRA maneja los ejemplos controversiales (donde hay desacuerdo entre anotadores humanos) en comparación con el ajuste fino completo (Full Fine-Tuning).

2. Metodología

Los autores proponen un enfoque que combina una medida externa de ambigüedad con el análisis de la dinámica de aprendizaje por ejemplo.

Medida de Ambigüedad Externa (Entropía de Anotación):
- Utilizan el dataset ChaosNLI, que proporciona 100 anotaciones por ejemplo para los conjuntos de datos SNLI y MNLI.
- Calculan la entropía de anotación ( $H_i$ ) para cada ejemplo basándose en la distribución de las 100 etiquetas.
- Clasifican los ejemplos en tres categorías:
  1. Limpios (Clean): Alta concordancia ( $H < 0.4$ nats).
  2. Ambiguos (Ambiguous): Desacuerdo moderado ( $0.4 \le H < 0.7$ ).
  3. Controversiales (Contested): Desacuerdo alto o distribución casi uniforme ( $H \ge 0.7$ ).
Dinámica de Aprendizaje (AULC):
- En lugar de solo mirar la pérdida final, registran la pérdida de entropía cruzada ( $\ell_i(t)$ ) en cada ejemplo a lo largo de todo el entrenamiento (5 épocas).
- Definen el Área Bajo la Curva de Pérdida (AULC) como la métrica principal. Un AULC más bajo indica un aprendizaje más rápido.
- También miden el cambio de pérdida ( $\Delta \ell$ ) entre el inicio y el final para detectar fenómenos de "desaprendizaje" (un-learning).
Configuración Experimental:
- Modelos: 6 arquitecturas en total (4 codificadores: RoBERTa, BERT, DistilBERT, DeBERTa v3; 2 decodificadores: Qwen2.5-1.5B y 3B).
- Métodos de Entrenamiento: LoRA (con rangos $r=4$ y $r=16$ ), Ajuste Fino Completo (Full FT) y IA3 (como comparación de PEFT).
- Datos: Combinación de ejemplos de ChaosNLI con datos estándar masivos para el entrenamiento, pero el seguimiento de pérdida se realiza solo en los ejemplos de ChaosNLI.

3. Contribuciones Clave

Descubrimiento del "Desaprendizaje" (Un-learning) en LoRA: Bajo LoRA, los ejemplos controversiales muestran un aumento de la pérdida a medida que avanza el entrenamiento. Este es un patrón cualitativamente distinto y ausente en el ajuste fino completo.
Predicción mediante Entropía: La entropía de anotación predice consistentemente la dinámica de aprendizaje. Existe una correlación positiva entre la entropía y el AULC (mayor entropía = aprendizaje más lento/pérdida más alta).
Especificidad de LoRA: El fenómeno de desaprendizaje es específico de la restricción de bajo rango de LoRA. No se observa en el ajuste fino completo ni en el método PEFT IA3.
Escalabilidad: La correlación es más fuerte en modelos decodificadores (decoder-only) que en codificadores y escala monótonamente con el rango de LoRA ( $r=4 < r=16 < \text{Full FT}$ ).

4. Resultados Principales

Patrón de Pérdida:
- Ajuste Fino Completo: Todos los ejemplos (limpios, ambiguos y controversiales) muestran una disminución de la pérdida a lo largo del tiempo. El modelo eventualmente ajusta todos los ejemplos.
- LoRA: Los ejemplos limpios disminuyen su pérdida, pero los ejemplos controversiales muestran un aumento neto de la pérdida ( $\Delta \ell > 0$ ). El modelo "olvida" o deja de aprender estos ejemplos a medida que se especializa en patrones de alto acuerdo.
Correlaciones Estadísticas:
- Se probaron 25 condiciones (combinaciones de modelo, dataset y configuración).
- La correlación de Spearman ( $\rho$ ) entre AULC y entropía fue positiva en todas las condiciones (rango $\rho = 0.06 - 0.43$ ).
- En 21 de 25 condiciones, la correlación fue estadísticamente significativa tras la corrección de Bonferroni.
- Los modelos decodificadores mostraron correlaciones más fuertes ( $\rho \approx 0.35-0.42$ ) que los codificadores.
Análisis de Mecanismos:
- No es solo ruido de etiquetas: Un experimento de ablación usando etiquetas suaves (distribución de 100 anotadores) en lugar de la votación mayoritaria no eliminó el efecto de desaprendizaje.
- No es falta de alineación de gradientes: Contrariamente a la intuición, bajo LoRA los gradientes de ejemplos limpios y controversiales permanecen bien alineados (cosine similarity $\sim 0.80$ ). El problema no es la dirección opuesta de los gradientes, sino la incapacidad del subespacio de bajo rango para satisfacer simultáneamente las paisajes de pérdida de ambos grupos.
- No es calibración: Aunque LoRA tiene una calibración peor que el ajuste fino completo, el ajuste fino completo (que tiene mejor calibración) no muestra desaprendizaje, descartando la calibración como causa principal.

5. Significado e Implicaciones

Limitaciones de LoRA en Datos Ambiguos: El uso de LoRA con rangos bajos en datos que contienen ambigüedad genuina puede ser contraproducente, ya que el modelo puede "olvidar" activamente los ejemplos difíciles o ambiguos para priorizar los patrones claros.
Diagnóstico en Tiempo Real: El seguimiento de la trayectoria de pérdida por ejemplo puede servir como una herramienta de diagnóstico para detectar cuándo un modelo está sufriendo desaprendizaje en datos específicos.
Estrategias Futuras: Se sugiere que para dominios con alto desacuerdo (como toxicidad o anotación médica), podrían ser necesarios rangos de LoRA más altos o funciones de pérdida que tengan en cuenta la incertidumbre de la etiqueta.
Validación Externa: El estudio demuestra que las métricas externas (entropía de anotadores) son predictores robustos de la dinámica interna del modelo, ofreciendo una explicación independiente del modelo sobre la dificultad de los ejemplos.

En resumen, el paper revela una interacción sutil pero crítica entre la capacidad de representación restringida de LoRA y la naturaleza ambigua de los datos humanos, donde la eficiencia de parámetros puede llevar a la pérdida de conocimiento en los casos más complejos y ambigüos.