Resumen Técnico: Modelos de Lenguaje de Gran Escala para la Clasificación Desbalanceada: La diversidad marca la diferencia

Planteamiento del Problema

La clasificación desbalanceada sigue siendo un desafío crítico en el aprendizaje automático, particularmente al tratar con datos tabulares donde las clases minoritarias (por ejemplo, enfermedades raras) tienen significativamente menos muestras que las clases mayoritarias. Los métodos tradicionales de sobremuestreo, como SMOTE, abordan esto generando muestras minoritarias sintéticas. Sin embargo, estos enfoques a menudo requieren convertir variables categóricas en vectores numéricos (mediante codificación ordinal o one-hot), lo que provoca una pérdida de información e introduce artefactos.

Si bien han surgido métodos recientes basados en Modelos de Lenguaje de Gran Escala (LLM) para manejar datos tabulares como texto —preservando los contextos de las variables y evitando la conversión numérica—, estos sufren de una limitación diferente: diversidad limitada. Los enfoques actuales basados en LLM suelen generar muestras minoritarias sintéticas que son demasiado similares entre sí. Esta falta de diversidad reduce la robustez y la capacidad de generalización de los clasificadores posteriores. Además, los métodos actuales dependen de pasos de verificación poco fiables (utilizando clasificadores externos o el propio LLM entrenado con datos desbalanceados) para filtrar las muestras sintéticas, lo que puede llevar al rechazo de datos válidos.

Metodología: ImbLLM

Los autores proponen ImbLLM, un nuevo marco de sobremuestreo basado en LLM diseñado para mejorar la diversidad y la calidad de las muestras minoritarias sintéticas. El método introduce tres mejoras técnicas específicas sobre las líneas base existentes:

1. Muestreo Condicionado a la Diversidad (condition_yx)

Los métodos existentes construyen prompts basándose únicamente en la etiqueta minoritaria (por ejemplo, "El ingreso es ≥200K") para consultar al LLM. Debido a la función softmax utilizada en la predicción de tokens, los prompts idénticos suelen producir salidas altamente similares.

• Innovación: ImbLLM construye prompts condicionados tanto a la etiqueta minoritaria como a una característica muestreada aleatoriamente.
• Mecanismo: Para cada generación, el sistema muestrea una característica $X_i$ y su valor $v_i$ de la distribución minoritaria, formando un prompt como "El ingreso es ≥200K, la educación es Licenciatura". Esta variación en los inputs de condicionamiento obliga al LLM a explorar diferentes regiones del espacio de características, generando muestras sintéticas más diversas.

2. Permutación de Características con Etiqueta Fija (fix_y)

Los métodos estándar basados en LLM permutan tanto las características ($X$) como la variable objetivo ($Y$) durante el ajuste fino (fine-tuning) para evitar el sesgo posicional. Sin embargo, en los LLM de solo decodificador (decoder-only), el mecanismo de atención está enmascarado de tal manera que un token solo puede atender a los tokens precedentes.

• Problema: Si la etiqueta minoritaria $Y$ se desplaza al medio o al final de una secuencia, no puede atender a las características que la preceden, lo que limita la capacidad del modelo para generar características diversas condicionadas a esa etiqueta.
• Innovación: ImbLLM fija la etiqueta minoritaria ($Y$) al principio de la oración y solo permuta las características ($X$).
• Mecanismo: Al colocar $Y$ primero (por ejemplo, "El ingreso es ≥200K, la educación es Licenciatura..."), la etiqueta puede atender a todas las características subsiguientes a través del mecanismo de atención, asegurando que las características generadas estén totalmente condicionadas por la clase objetivo.

3. Ajuste Fino con Interpolación (minor+interpolate)

Los métodos existentes realizan el ajuste fino de los LLM tanto en datos mayoritarios como minoritarios, y luego intentan verificar las muestras sintéticas para asegurar que pertenecen a la clase minoritaria. Esta verificación suele ser poco fiable porque el verificador está entrenado con datos desbalanceados.

• Innovación: ImbLLM realiza el ajuste fino del LLM únicamente con muestras minoritarias y muestras interpoladas, eliminando por completo la clase mayoritaria de la fase de ajuste fino.
• Mecanismo: Para abordar la escasez de datos minoritarios (que pueden carecer de una cobertura suficiente de los dominios de variables continuas), los autores introducen un paso de interpolación. Generan valores continuos sintéticos mediante la interpolación entre muestras minoritarias existentes ($x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$). El LLM se ajusta entonces sobre la unión de las muestras minoritarias originales y estas muestras interpoladas. Esto elimina la necesidad de un paso de verificación post-generación y evita que el modelo tenga un sesgo hacia la clase mayoritaria.

Contribuciones Clave

1. Marco ImbLLM: Un nuevo método de sobremuestreo que integra tres mejoras clave (muestreo, permutación y ajuste fino) para generar muestras minoritarias diversas y robustas.
2. Análisis Teórico: Un análisis basado en la entropía que demuestra que el proceso de generación propuesto fomenta matemáticamente la diversidad en la salida.
3. Evaluación Exhaustiva: Experimentos extensos en 10 conjuntos de datos tabulares del mundo real comparando ImbLLM contra ocho líneas base de vanguardia (incluyendo SMOTE, CTGAN y otros métodos basados en LLM como Great, TapTap y Pred-LLM).
4. Métricas de Calidad y Diversidad: Demostración de que las muestras generadas no solo son más efectivas para la clasificación, sino también superiores en "Probabilidad de Cercanía" (similitud con datos reales) y "Cobertura" (diversidad del manifold generado).

Resultados Experimentales

Los autores evaluaron ImbLLM en 10 conjuntos de datos (por ejemplo, Adult, German, Credit Card) utilizando el F1-score y el AUC como métricas primarias de rendimiento de clasificación downstream.

• Rendimiento de Clasificación: ImbLLM logró el mejor F1-score en 5 de 10 conjuntos de datos y el segundo mejor en otros 3. En promedio, superó al segundo mejor (CTGAN) aproximadamente un 3% y al clasificador desbalanceado estándar (sin sobremuestreo) un 8%. Notablemente, el rendimiento de ImbLLM se acercó al de un clasificador entrenado con el conjunto de datos original balanceado, a pesar de utilizar solo el 20% de las muestras minoritarias originales para el entrenamiento.
• Diversidad y Calidad:
  • Probabilidad de Cercanía: ImbLLM obtuvo un 0.8011 frente al 0.7761 de CTGAN, lo que indica que las muestras sintéticas están más cerca de las muestras minoritarias reales.
  • Cobertura: ImbLLM obtuvo un 0.8933 frente al 0.8482 de CTGAN, lo que indica una mejor cobertura del manifold de los datos reales.
• Estudios de Ablación: El estudio confirmó que cada componente (muestreo diverso, permutación de etiqueta fija e interpolación) contribuye significativamente al rendimiento. Eliminar el paso de interpolación resultó en un menor rendimiento, aunque seguía siendo superior a las líneas base.
• Robustez: A diferencia de TapTap y Pred-LLM, que dependen de pasos de verificación que fallan cuando el conjunto de datos desbalanceado es demasiado sesgado para entrenar un verificador fiable, el enfoque de ImbLLM de excluir los datos mayoritarios durante el ajuste fino demostró ser más robusto ante diversas proporciones de desbalance.

Significado y Reivindicaciones

El artículo sostiene que la diversidad es el factor crítico que distingue el éxito del fracaso en el sobremuestreo basado en LLM. Mientras que los métodos de LLM anteriores se centraban en la mecánica de la generación o la verificación, ImbLLM demuestra que optimizar la diversidad del proceso de generación —a través de la ingeniería de prompts específica, la permutación consciente de la atención y el ajuste fino basado en la interpolación— se traduce directamente en un rendimiento de clasificación superior.

Los autores afirman que su método proporciona una alternativa más fiable a los enfoques dependientes de la verificación, ya que genera inherentemente datos minoritarios de alta calidad sin necesidad de filtrar "malas" muestras utilizando clasificadores potencialmente sesgados. Los resultados sugieren que ImbLLM puede cerrar eficazmente la brecha de rendimiento entre conjuntos de datos severamente desbalanceados y sus contrapartes balanceadas, convirtiéndose en una solución viable para aplicaciones del mundo real que involucran eventos raros en datos tabulares.