Resumen Técnico: Enseñando a los LLM a Razonar sobre Datos Tabulares mediante la Destilación de Racionalidad de Tres Niveles (TLRD)

1. Planteamiento del Problema

Los datos tabulares son el medio principal para el almacenamiento de información en el mundo real, impulsando aplicaciones industriales críticas en la calificación crediticia, la atención médica y la optimización de la cadena de suministro. Si bien los conjuntos de árboles tradicionales (por ejemplo, XGBoost, CatBoost) dominan estas tareas debido a su rendimiento predictivo y eficiencia, carecen de la capacidad de proporcionar explicaciones legibles y específicas para cada caso, esenciales para la toma de decisiones de las partes interesadas. Por el contrario, los Modelos de Lenguaje Extensos (LLM) pueden generar explicaciones de forma natural, pero tienen dificultades con los datos tabulares debido a su incapacidad para capturar patrones específicos del conjunto de datos, distribuciones de características e interacciones durante el preentrenamiento.

Un obstinto técnico crítico surge al intentar realizar un ajuste fino (fine-tuning) directo de los LLM en conjuntos de datos tabulares etiquetados. Al ser supervisados únicamente por etiquetas categóricas, los modelos suelen sufrir de olvido catastrófico de los comportamientos generativos, lo que conduce al colapso de la explicación. En este estado, el modelo optimiza estrictamente para el mapeo discriminativo, produciendo salidas breves de solo la etiqueta y fallando en la generación de racionalidades libres de forma y fundamentadas en la evidencia. Los enfoques actuales de pocos disparos (few-shot) para LLM a menudo rinden por debajo de los baselines sólidos y no abordan adecuadamente la optimización de la calidad de la explicación en entornos donde se dispone de grandes conjuntos de datos etiquetados.

2. Metodología: Destilación de Racionalidad de Tres Niveles (TLRD)

TLRD es un marco diseñado para convertir conjuntos de datos tabulares de solo etiquetas en una supervisión estructurada y rica en racionalidad para los LLM. Emplea un flujo de destilación de profesor-estudiante para permitir que un modelo estudiante compacto prediga etiquetas y genere explicaciones fundamentadas utilizando solo características puras en el momento de la inferencia.

2.1 Entrada Aumentada de Tres Niveles

Para abordar la falta de contexto específico del conjunto de datos en el LLM, el marco construye una Entrada Aumentada de Tres Niveles para el modelo profesor durante la construcción del corpus. Esta entrada extiende la fila serializada pura con dos fuentes de evidencia adicionales:

1. Estadísticas a Nivel de Conjunto de Datos: Contexto distributivo global, incluyendo media, desviación estándar, cuartiles y frecuencias condicionales de clase para variables numéricas y categóricas.
2. Vecinos Recuperados: Un conjunto de instancias históricas similares y equilibrado por etiquetas, recuperado basado en coincidencias de características categóricas y similitud numérica (similitud de coseno en vectores estandarizados).

2.2 Esquema de Racionalidad de Tres Niveles

Guiado por un esquema fijo, el modelo profesor analiza la entrada aumentada para generar racionalidades estructuradas condicionadas a la etiqueta de verdad fundamental (ground-truth). El esquema impone tres niveles complementarios de razonamiento:

• Razonamiento a Nivel de Instancia (Basado en Características Propias): Analiza valores de características específicos utilizando lógica de dominio general y sentido común para determinar el impacto direccional en el objetivo.
• Razonamiento a Nivel de Conjunto de Datos (Basado en Estadísticas Globales): Contextualiza los valores de las características frente a las estadísticas globales (por ejemplo, comparando un valor con las medias o percentiles de la clase) para anclar la explicación en evidencia de nivel macro.
• Razonamiento de Comparación (Casos Similares): Utiliza los vecinos recuperados para extraer patrones de combinación de características y desviaciones críticas, resumidos en bloques de <Patterns> (Patrones) y <Deviations> (Desviaciones), para validar las predicciones contra evidencia contrastiva local.

2.3 Destilación y Despliegue

El profesor genera un informe de racionalidad estructurado que justifica la etiqueta de verdad fundamental. Posteriormente, un modelo estudiante compacto es ajustado (usando LoRA) sobre este corpus destilado. Crucialmente, durante el despliegue, el estudiante recibe solo las características puras serializadas (sin estadísticas externas ni recuperación). El modelo está entrenado para internalizar el conocimiento de nivel de conjunto de datos y de casos, permitiendo una inferencia sin sobrecarga externa que retiene la capacidad de generar la racionalidad de tres niveles.

3. Contribuciones Clave

• Evidencia de Tres Niveles hacia Racionalidades: El artículo introduce un esquema estructurado que guía a un modelo profesor para sintetizar racionalidades fundamentadas en características de nivel de instancia, estadísticas de nivel de conjunto de datos y vecinos de nivel de comparación. Esto formaliza cómo transformar datos tabulares puros en supervisión rica en evidencia.
• Destilación de Contexto a Parámetros: TLRD propone un método de destilación donde las estadísticas del conjunto de datos y los vecinos recuperados se utilizan solo durante la construcción del corpus. Esto inyecta indirectamente el conocimiento específico del conjunto de datos en los parámetros del estudiante, permitiendo una inferencia independiente y eficiente sin necesidad de recuperación externa o búsquedas estadísticas.
• Evaluación Empírica Exhaustiva: El marco es evaluado a través de seis conjuntos de datos diversos (clasificación y regresión). Los resultados demuestran que TLRD reduce significativamente la brecha de rendimiento entre los LLM y los ensambles de árboles de última generación, produciendo explicaciones fundamentadas y legibles.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos que incluyen ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA y DIAMONDS, utilizando varios backbones de estudiantes (Llama 3.1-8B, Qwen3-8B, Gemma 3-12B) y modelos profesores (GPT-OSS-20B/120B, Qwen3-Next-80B).

• Rendimiento vs. Baselines: TLRD supera significativamente a los baselines de LLM de cero disparos (zero-shot) y pocos disparos (few-shot). En tareas de clasificación, las variantes de TLRD logran un rendimiento competitivo frente a baselines fuertes no basados en LLM como XGBoost, CatBoost y TabPFN. Por ejemplo, en el conjunto de datos OKCUPID, TLRD (Gemma 3-12B) alcanzó un Macro-F1 de 56.1, superando a TabPFN v2.5 (55.9) y acercándose a CatBoost (58.9).
• Fundamentación de la Racionalidad: El análisis cualitativo (Figura 3) muestra que la destilación estándar suele producir explicaciones fluidas pero genéricas basadas en supuestos de sentido común. En contraste, TLRD genera explicaciones que citan estadísticas específicas del conjunto de datos (por ejemplo, "77.8% de incumplimientos frente a 70.4% de no incumplimientos") e identifican desviaciones de casos similares, ofreciendo un soporte de decisión más fundamentado.
• Estudios de Ablación: Eliminar ya sea las estadísticas del conjunto de datos o la recuperación de nivel de comparación degrada el rendimiento, confirmando la naturaleza complementaria de la evidencia de tres niveles. Además, TLRD supera a la destilación estándar y a la "Destilación Aumentada con Evidencia" (donde el profesor ve la evidencia pero carece del esquema estructurado), resaltando la importancia del esquema para generar supervisión de alta calidad.
• Escalabilidad: El marco es efectivo incluso con modelos estudiantes más pequeños (por ejemplo, 4 mil millones de parámetros) supervisados por profesores de tamaño medio, lo que sugiere un camino práctico para el despliegue con recursos limitados.

5. Significado y Limitaciones

Significado:
TLRD ofrece un equilibrio práctico entre el alto rendimiento predictivo de los ensambles basados en árboles y la interpretabilidad de los LLM. Al destilar los patrones de razonamiento específicos del conjunto de datos en un modelo estudiante, permite un soporte de decisión transparente y específico para cada caso sin la latencia de la recuperación externa o el colapso de la explicación asociado con el ajuste fino de solo etiquetas. Los autores postulan esto como una referencia valiosa para la toma de decisiones de alto riesgo donde se requieren tanto precisión como explicabilidad.

Limitaciones:
Los autores reconocen varias limitaciones:

• Correlaciones Espurias: El modelo estudiante puede heredar correlaciones espurias o saltos lógicos del profesor, incluso cuando el profesor está condicionado a las etiquetas de verdad fundamental.
• Escalabilidad: El enfoque depende de la selección de características para conjuntos de datos de alta dimensionalidad y puede tener dificultades con conjuntos de datos que tienen un gran número de clases debido a las restricciones de longitud de entrada.
• Alcance del Ajuste Fino: Debido a las restricciones computacionales, el estudio utiliza LoRA (ajuste fino eficiente de parámetros) en lugar de un ajuste fino de parámetros completos, dejando abierta la pregunta de si la adaptación de parámetros completos produciría mayores ganancias.
• Riesgos Inherentes de los LLM: El método hereda las limitaciones generales de los LLM, incluyendo posibles alucinaciones y sensibilidad a la configuración de los prompts. Los autores enfatizan que TLRD debe desplegarse estrictamente como una herramienta de soporte a la decisión, no como un decisor autónomo, y recomiendan auditorías de equidad rigurosas y evaluación humana para su despliegue en el mundo real.