Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

Este artículo demuestra que, para la clasificación de texto con una sola etiqueta y recursos limitados, el ajuste fino de modelos de lenguaje causales con una cabeza de clasificación sobre las incrustaciones del token final es significativamente más eficiente en parámetros que el ajuste por instrucciones, al tiempo que logra un rendimiento comparable o superior tanto a los modelos de lenguaje ajustados por instrucciones como a los modelos BERT específicos de dominio.

Lo esencial

Imagina que tienes un asistente de biblioteca gigante e increíblemente inteligente (un Modelo de Lenguaje Grande, o LLM) que ha leído casi todo en el mundo. Quieres contratar a este asistente para clasificar una pila masiva de documentos de patentes en categorías específicas. ¿El problema? Este asistente es enorme, costoso de ejecutar y generalmente está entrenado para escribir historias, no para clasificar archivos.

Este artículo es una guía sobre cómo enseñar a este asistente gigante a clasificar archivos de manera eficiente, utilizando solo una tarjeta gráfica estándar (GPU) en lugar de un superordenador. Los autores probaron dos métodos diferentes para entrenar al asistente y descubrieron que un método es mucho mejor que el otro para este trabajo específico.

Aquí está el desglose de sus hallazgos utilizando analogías simples:

Los Dos Métodos de Entrenamiento

Los investigadores probaron dos "campamentos de entrenamiento" diferentes para el asistente:

1. El Método "Carpeta de Archivos" (Basado en Incrustaciones)

• Cómo funciona: Imagina que le pides al asistente que lea un documento y luego te entregue una sola nota de resumen perfecta escrita en la última página. Luego, adjuntas una pequeña y sencilla etiquetadora (una "cabeza de clasificación") a esa nota para decidir en qué carpeta va el documento.
• El truco: No reentrenaron a todo el asistente. Solo le enseñaron al asistente cómo escribir esa única nota de resumen perfecta y cómo usar la etiquetadora. Utilizaron una técnica llamada "LoRA" (Adaptación de Bajo Rango), que es como darle al asistente un conjunto de notas adhesivas para escribir en lugar de reescribir todo su cerebro.
• Resultado: Este método fue increíblemente rápido, barato y preciso. Utilizó muy pocos recursos "entrenables" (como un presupuesto pequeño) pero realizó el trabajo perfectamente.

2. El Método "Chatbot" (Basado en Instrucciones)

• Cómo funciona: En lugar de pedir una nota de resumen, hablas con el asistente como si fuera un chatbot. Dices: "Aquí hay un documento. Por favor, dime a qué categoría pertenece". Luego, el asistente debe escribir la respuesta palabra por palabra.
• El truco: Esto requiere que el asistente aprenda a seguir instrucciones y generar texto en un formato específico.
• Resultado: Este método fue más lento y requirió un presupuesto mucho mayor (más recursos "entrenables") para obtener buenos resultados. Funcionó aceptablemente para tareas complejas con muchas categorías, pero a menudo fue exigente sobre cómo se formulaba la pregunta. Si el prompt estaba ligeramente mal, el asistente podría confundirse o escribir palabras extra que rompieran el sistema.

El Gran Enfrentamiento: Lo Que Descubrieron

Los autores probaron estos métodos en datos de patentes (documentos legales sobre invenciones) y los compararon con modelos más antiguos y pequeños (como BERT) que fueron construidos específicamente para tareas de clasificación.

• Para Clasificación de Etiqueta Única (Una categoría por documento):
  El método "Carpeta de Archivos" ganó por goleada. Igualó o incluso superó a los modelos especializados más antiguos y al método "Chatbot", pero lo hizo utilizando 10 a 30 veces menos recursos. Fue como usar un cuchillo suizo para cortar un filete: funcionó tan bien como un cuchillo de chef, pero era mucho más ligero y barato de transportar.

• Para Clasificación de Múltiples Etiquetas (Múltiples categorías por documento):
  El método "Chatbot" tuvo una ligera ventaja, pero solo si estabas dispuesto a gastar mucho más dinero en entrenamiento (usando un presupuesto enorme de recursos). Incluso entonces, el método "Carpeta de Archivos" seguía siendo muy competitivo.

• Velocidad y Eficiencia:
  El método "Carpeta de Archivos" fue mucho más rápido tanto en entrenamiento como en ejecución. El método "Chatbot" fue más lento porque tenía que "pensar" y escribir la respuesta letra por letra, mientras que el método "Carpeta de Archivos" simplemente miraba la nota de resumen y hacía clic en un botón.

La "Magia" del Presupuesto Pequeño

Uno de los hallazgos más geniales es que no necesitas un modelo masivo y costoso para obtener grandes resultados.

• Utilizaron un modelo relativamente pequeño (3 mil millones de parámetros) con el método "Carpeta de Archivos" y superó al método "Chatbot" que utilizaba un modelo mucho más grande.
• Incluso probaron el método "Chatbot" en los modelos más costosos y avanzados disponibles de grandes empresas tecnológicas (como GPT-5 y Claude Opus) sin entrenarlos en absoluto. Incluso estos modelos congelados, súper inteligentes, no pudieron superar al pequeño modelo "Carpeta de Archivos" entrenado. Es como un mecánico local bien entrenado que gana a un coche de Fórmula 1 nuevo y sin entrenar en un trabajo de reparación específico.

El Problema (Limitaciones)

El artículo es honesto sobre dónde este método no es perfecto:

• Velocidad vs. Precisión: Aunque el método "Carpeta de Archivos" es excelente, sigue siendo aproximadamente 20 veces más lento que los modelos especializados más antiguos (BERT) en cuanto a velocidad pura. Si necesitas clasificar millones de documentos por segundo, los modelos más antiguos siguen siendo los reyes de la velocidad.
• Confianza Estadística: El método "Carpeta de Archivos" fue numéricamente mejor, pero la diferencia no fue estadísticamente "probada" como enorme en cada prueba individual. Es consistentemente mejor, pero el margen de victoria a veces es pequeño.
• Inestabilidad del Entrenamiento: A veces, el método "Carpeta de Archivos" fallaba al aprender si el punto de partida aleatorio (la "semilla") era desafortunado, lo que obligaba a los investigadores a intentarlo varias veces para obtener un buen resultado.

La Conclusión

Si necesitas clasificar documentos de texto (como patentes) y tienes potencia informática limitada (como una sola tarjeta gráfica), la mejor estrategia es tratar al modelo gigante de IA como un extractor de características (el método "Carpeta de Archivos"). No intentes que chatee o escriba ensayos; solo pídele que resuma el documento y adjunta una etiquetadora simple. Este enfoque es más barato, más rápido y a menudo más preciso que intentar enseñar a la IA a seguir instrucciones complejas o utilizar modelos especializados más antiguos.

Resumen técnico

Resumen Técnico: Ajuste Fino de LLMs Causales para Clasificación de Texto

Enunciado del Problema
La clasificación de texto ha dependido tradicionalmente del ajuste fino de transformadores basados en codificadores (por ejemplo, BERT, RoBERTa), los cuales utilizan un token de clasificación especial (por ejemplo, [CLS]) para agregar información de la secuencia. En contraste, los Modelos de Lenguaje Grandes (LLMs) de solo decodificador (causales) se preentrenan para la predicción del siguiente token con atención de izquierda a derecha, careciendo de un token de clasificación explícito y de visibilidad bidireccional sobre la entrada. Aunque los LLMs causales poseen miles de millones de parámetros entrenados en billones de tokens, adaptarlos para la clasificación es un desafío debido a su tamaño, lo que a menudo hace inviable el ajuste fino completo en hardware de una sola GPU. Este artículo investiga si los LLMs causales pueden ajustarse finamente de manera efectiva para la clasificación bajo restricciones de recursos y compara dos estrategias de adaptación distintas: ajuste fino basado en incrustaciones versus ajuste fino basado en instrucciones.

Metodología
Los autores evalúan dos enfoques utilizando Adaptación de Bajo Rango Cuantizada (QLoRA) para permitir el entrenamiento en una sola GPU NVIDIA L4 (24 GB de VRAM). Todos los modelos se cargan en precisión de 4 bits (NF4) utilizando la biblioteca BitsAndBytes, actualizando únicamente los adaptadores LoRA y las cabezas específicas de la tarea.

1. Enfoque 1: Ajuste Fino Basado en Incrustaciones (Ajuste del Decodificador)

   • Mecanismo: El LLM causal actúa como un extractor de características. Se extrae el estado oculto del token final (que atiende implícitamente a todos los tokens precedentes) como una representación de la secuencia. Se adjunta una cabeza de clasificación ligera (capa lineal o red neuronal de alimentación hacia adelante) a esta incrustación para predecir las etiquetas de clase.
   • Entrenamiento: Optimiza los posteriores de clase directamente mediante entropía cruzada (etiqueta única) o entropía cruzada binaria (etiquetas múltiples). El rango LoRA ($r$) se establece en 8 o 16, actualizando un pequeño subconjunto de parámetros (típicamente 5,6 M–42 M).
   • Inferencia: Una sola pasada hacia adelante produce la incrustación del token final, seguida de un cálculo de la capa de clasificación ligera.

2. Enfoque 2: Ajuste Fino Basado en Instrucciones

   • Mecanismo: La tarea de clasificación se reformula como un problema de generación de respuesta a indicación. Las entradas se convierten en indicaciones (por ejemplo, "¿Cuál es la categoría?"), y el modelo se entrena para generar el texto de la etiqueta como respuesta.
   • Entrenamiento: Optimiza la probabilidad de los tokens de etiqueta generados utilizando la pérdida de predicción del siguiente token. Esto requiere que el modelo aprenda un formato específico y la verbalización de las etiquetas. Los rangos LoRA son más altos ($r=64$), resultando en un presupuesto entrenable mayor (45 M–167 M parámetros).
   • Inferencia: Requiere la decodificación secuencial de los tokens de la etiqueta, lo que introduce latencia en comparación con el enfoque basado en incrustaciones.

Contribuciones Clave

• Estrategia de Clasificación de Solo Decodificador: Demuestra que los LLMs causales pueden servir eficazmente como clasificadores aprovechando sus incrustaciones de token final como representaciones agregadas de secuencia, análogo al token [CLS] en los codificadores.
• Evaluación de Referencia Eficiente en Recursos: Informa resultados de vanguardia en tareas de clasificación de patentes utilizando métodos amigables con una sola GPU (QLoRA + cuantización de 4 bits), demostrando que modelos de hasta 8 mil millones de parámetros pueden ajustarse finamente de manera eficiente.
• Análisis Comparativo: Proporciona una comparación sistemática que muestra que, para la clasificación de etiqueta única, el enfoque basado en incrustaciones iguala o supera el rendimiento del ajuste basado en instrucciones mientras entrena de 10 a 30 veces menos parámetros. Se encuentra que el ajuste basado en instrucciones es competitivo solo en regímenes de múltiples etiquetas y solo con presupuestos entrenables sustancialmente más grandes.
• Directrices Prácticas: Ofrece evidencia empírica sobre las compensaciones entre rendimiento, calibración y robustez, sugiriendo que los métodos basados en incrustaciones son más robustos ante variaciones en las indicaciones y ofrecen una mejor calibración que los métodos basados en instrucciones.

Resultados
Los experimentos se realizaron en dos conjuntos de datos de patentes: un corpus propietario de 5 clases y etiqueta única (CLV) y el conjunto de datos público WIPO-Alpha de múltiples etiquetas (14 categorías).

• Rendimiento de Etiqueta Única: El enfoque basado en incrustaciones (Enfoque 1) logró consistentemente puntuaciones F1 competitivas, superando a menudo a los modelos ajustados con instrucciones (Enfoque 2) y a las líneas base BERT específicas del dominio. Por ejemplo, un modelo Llama-3.2 de 3,2 mil millones de parámetros con $r=8$ logró un F1 de 0,860 en CLV, superando a la mejor línea base BERT (0,854) mientras actualizaba solo ~12 M de parámetros en comparación con 346 M para BERT.
• Rendimiento de Múltiples Etiquetas: En el conjunto de datos WIPO, el Enfoque 2 (específicamente Mistral-7B con $r=64$) logró el F1 más alto (0,819), superando al Enfoque 1. Sin embargo, esto requirió 167,8 M de parámetros entrenables, negando la ventaja de "eficiencia de parámetros" en este régimen específico.
• Rendimiento: El Enfoque 1 demostró un rendimiento de entrenamiento e inferencia significativamente mayor (muestras por segundo) en comparación con el Enfoque 2. Aunque el Enfoque 1 fue más lento que los codificadores de clase BERT (~20 veces más lento), los autores señalan que la destilación de conocimiento puede recuperar el rendimiento de clase BERT con un costo F1 mínimo (≤1,5 puntos).
• Significancia Estadística: Las pruebas de McNemar emparejadas y los intervalos de confianza del 95% para $\Delta$F1 mediante bootstrap indican que, aunque el enfoque basado en incrustaciones supera numéricamente al ajuste basado en instrucciones en tareas de etiqueta única, la diferencia no es estadísticamente significativa en $p<0,05$.
• Validación Externa: En el conjunto de datos AG News, el enfoque basado en incrustaciones (Llama-3.2-3B, $r=8$) logró un F1 de 0,929, comparable a fuertes líneas base BERT y modelos ajustados con instrucciones, confirmando la generalización más allá del dominio de patentes.
• Modelos de Código Cerrado: Los modelos fronterizos de código cerrado (por ejemplo, GPT-5, Claude Opus 4.6) utilizados en modos de indicación de cero o pocos ejemplos no lograron igualar el rendimiento de los modelos Llama ajustados finamente de 1–3 mil millones de parámetros utilizando el Enfoque 1, destacando la necesidad de adaptación supervisada para la clasificación de alta precisión.

Significancia y Afirmaciones
El artículo afirma que el ajuste fino basado en incrustaciones, eficiente en parámetros, de LLMs causales es una alternativa efectiva, escalable y de alto rendimiento tanto a los modelos convencionales estilo BERT como a los LLMs ajustados con instrucciones para la clasificación de texto.

• Eficiencia: El estudio demuestra que se puede lograr clasificación de alto rendimiento en hardware de una sola GPU congelando el modelo base y actualizando solo una pequeña fracción de parámetros mediante LoRA.
• Robustez: Se afirma que el enfoque basado en incrustaciones es más robusto ante errores de ingeniería de indicaciones y ofrece salidas de probabilidad mejor calibradas en comparación con la generación basada en instrucciones, que puede sufrir de fragilidad en el formato.
• Practicidad: Para tareas de etiqueta única, el enfoque basado en incrustaciones se presenta como la estrategia preferida, ofreciendo una compensación superior entre F1 y cómputo. Para tareas de múltiples etiquetas, el artículo reconoce que, aunque el ajuste basado en instrucciones puede producir una mayor precisión, a menudo requiere presupuestos de parámetros comparables a los modelos BERT completos, limitando así su ventaja de eficiencia.
• Limitaciones: Los autores notan modestamente que sus afirmaciones están limitadas por el uso de datos propietarios para resultados de etiqueta única, la falta de significancia estadística en comparaciones directas y la penalización de rendimiento de los LLMs en comparación con BERT (aunque mitigable mediante destilación). También destacan que puede ocurrir inestabilidad en el entrenamiento con ciertas semillas, recomendando múltiples ejecuciones para la reproducibilidad.

En conclusión, el trabajo proporciona evidencia empírica de que el ajuste fino especializado y con restricciones de recursos de LLMs causales mediante cabezas de incrustación es una vía viable y a menudo óptima para la clasificación de texto específica del dominio, reduciendo la barrera para implementar modelos de lenguaje avanzados en tareas de PLN especializadas.