🤖 machine learning

Training Fair Tabular Foundation Models

Este artículo presenta FairTFM, una estrategia de entrenamiento escalable que incorpora restricciones de equidad directamente en los Modelos Fundacionales Tabulares a través de tareas de equidad sintéticas y una capa de reversión de gradiente, permitiendo predicciones equitativas y en contexto sin acceso a atributos sensibles mientras mantiene una precisión competitiva.

Autores originales: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Publicado 2026-08-17

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio usando un asistente de IA superinteligente y preentrenado. Este asistente ha leído millones de expedientes de casos y ha aprendido a detectar patrones en los datos, como un detective experimentado que puede mirar unas pocas pistas e instantáneamente adivinar al culpable. Este es el mundo de los Modelos de Fundación Tabulares. Piensa en ellos como "detectives universales" que pueden saltar a cualquier caso nuevo —ya sea prediciendo aprobaciones de préstamos, diagnosticando enfermedades o decidiendo quién recibe una beca— sin necesidad de ser reentrenados desde cero. Utilizan un truco llamado Aprendizaje en Contexto (In-Context Learning), que es como darle al detective unos pocos ejemplos del caso actual en una libreta y decirle: "Así es como solemos resolver esto; ahora resuélvelo tú".

Pero aquí está el problema: incluso los detectives más inteligentes pueden tener sesgos ocultos. Si el detective aprendió de expedientes antiguos donde ciertos grupos de personas fueron tratados injustamente, podría accidentalmente tratar de forma injusta a las nuevas personas de esos mismos grupos. Este es el problema de la equidad algorítmica. En el mundo real, existen reglas estrictas (como las leyes contra la discriminación) que dicen que las decisiones no deben depender de rasgos sensibles como el género, la raza o la edad. La gran pregunta que los científicos se plantean es: ¿Podemos enseñar a estos "detectives universales" a ser justos antes de que vean un caso real, para que no necesiten ser corregidos después?

Este artículo presenta un nuevo método llamado FairTFM, que intenta integrar la equidad directamente en el cerebro del detective durante su entrenamiento. En lugar de solo enseñar al modelo a ser preciso, los investigadores le enseñan a ignorar las pistas "sensibles" que no deberían importar. Descubrieron que, mediante el uso de un ingenioso truco de entrenamiento, pueden crear un modelo que realice predicciones más justas de un solo vistazo, sin necesidad de ser reentrenado para cada nuevo trabajo. Aunque el modelo a veces tiene que hacer un pequeño sacrificio en cuanto a su precisión perfecta, los resultados sugieren que puede reducir significamente la injusticia —a veces en más de un 70%— mientras sigue haciendo un gran trabajo en su tarea principal.

El Problema: El "Detective Universal" con un Punto Ciego

Los datos tabulares son simplemente información organizada en filas y columnas, como una gigantesca hoja de cálculo. Durante décadas, la mejor forma de hacer predicciones a partir de estas hojas de cálculo fue utilizar modelos basados en árboles (piensa en ellos como diagramas de flujo que hacen una serie de preguntas de sí o no). Pero recientemente, ha surgido un nuevo tipo de IA llamada Modelo de Fundación Tabular (TFM). Estos son como los "superdetectives" del mundo de los datos. Están entrenados en colecciones masivas de datos para poder adaptarse a nuevas tareas instantáneamente, utilizando solo unos pocos ejemplos proporcionados en el momento de la predicación.

El problema es que estos superdetectives están aprendiendo del pasado, y el pasado suele estar lleno de injusticias. Si los datos históricos de un banco muestran que a las mujeres se les denegaron préstamos con más frecuencia que a los hombres sin una buena razón, un TFM estándar podría aprender ese patrón y continuar denegando préstamos a las mujeres, incluso si eso es ilegal e incorrecto.

Normalmente, para solucionar esto, los científicos de datos intentan "limpiar" los datos antes del entrenamiento, o ajustan el modelo una vez que ya ha sido entrenado. Pero con los TFM, esto es complicado. Debido a que estos modelos están diseñados para estar "congelados" (lo que significa que no cambiamos sus pesos internos para cada nueva tarea), no podemos volver fácilmente atrás para reentrenarlos para cada banco o hospital específico. Necesitamos una forma de hacerlos justos antes de que sean desplegados, para que estén listos para ser justos en el momento en que se les pida resolver un nuevo problema.

La Solución: Entrenar al Detective para Ignorar las Pistas "Equivocadas"

Los autores de este artículo, Patrik Kenfack y su equipo, proponen una nueva forma de entrenar estos modelos llamada FairTFM. Su idea es simple pero poderosa: durante la fase de entrenamiento, enseñan al modelo a resolver un juego en el que tiene que predecir el resultado sin utilizar la información sensible.

Aquí explicamos cómo lo hacen, usando una analogía divertida:

Imagina que estás entrenando a un detective para resolver un misterio sobre quién robó una galleta. Tienes una lista de pistas: la hora del día, el tipo de huella de zapato y el color favorito del sospechoso. Pero también tienes una pista "sensible": el género del sospechoso. Quieres que el detective resuelva el crimen basándose en la huella del zapato y la hora, pero no en el género.

En el pasado, podrías haber intentado simplemente ocultar la pista del género. Pero el detective es inteligente; podría seguir adivinando el género basándose en otras pistas (como la huella del zapato) y usar eso para obtener una ventaja injusta.

FairTFM utiliza un juego de dos partes:

El Juego Principal: El detective intenta adivinar quién robó la galleta (la predicción principal).
El Juego de Trampa: Al mismo tiempo, el detective es obligado a adivinar el género del sospechoso basándose únicamente en las pistas que utilizó para resolver el crimen.

Aquí está el truco de magia: Los investigadores utilizan una herramienta especial llamada Capa de Reversión de Gradiente (Gradient Reversal Layer). Piensa en esto como un "engranaje de reversa" para el cerebro del detective. Cuando el detective intenta adivinar el género, la herramienta invierte la retroalimentación. Si el detective acierta el género, la herramienta dice: "¡No, eso es malo! ¡Estás dependiendo demasiado del género!", y empuja al detective a olvidar esa conexión.

Al hacer esto repetidamente con miles de diferentes escenarios de "robo de galletas" ficticios (donde la pista sensible cambia de género a edad a raza aleatoriamente), el detective aprende a resolver el crimen utilizando solo las pistas relevantes. Aprenden a construir un mapa mental del mundo donde la pista del género es invisible.

Los Resultados: Equidad Sin Perder el Hilo de la Historia

El equipo probó su nuevo "Detective Justo" (FairTFM) en 132 tareas diferentes, que van desde la predicción de ingresos hasta la comprobación de si alguien será arrestado de nuevo. Compararon su desempeño contra:

Detectives Estándar: Los habituales TFM superprecisos (como TabPFN y TabICL) a los que no les importa la equidad.
Detectives de la Vieja Escuela: Modelos tradicionales como Random Forests y Regresión Logística.
El Competidor "Justo": Otro modelo llamado FairPFN, que intenta ser justo pero utiliza una definición de equidad diferente y más compleja.

Los resultados fueron prometedores. Los TFM estándar, superprecisos, eran de hecho los más exactos, pero también los más injustos. Cometían grandes errores en el trato a diferentes grupos de personas.

Sin embargo, FairTFM encontró un punto de equilibrio. Al ajustar una "perilla" (llamada $\lambda$ ) que controla qué tanto se esfuerza el modelo por ser justo, los investigadores pudieron calibrar el equilibrio perfecto.

El Sacrificio: Para obtener predicciones más justas, el modelo tuvo que renunciar un poco de precisión bruta. El artículo encontró que, con una pequeña caída en la precisión (entre el 2% y el 11%), el modelo se volvió entre un 32% y un 75% más justo que los modelos estándar.
La Victoria de "Un Solo Paso": Lo mejor de todo es que FairTFM hace esto en una sola pasada hacia adelante. No necesitas reentrenarlo para cada nuevo banco u hospital. Simplemente le das los datos y produce una predicción justa al instante.

Al compararlo con el otro modelo "justo" (FairPFN), FairTFM salió victorioso. FairPFN era justo, pero era mucho menos preciso. FairTFM logró ser tanto justo como preciso, superando a FairPFN en casi todas las métricas.

Lo Que Esto Significa para el Futuro

El artículo sugiere que no tenemos que elegir entre una IA inteligente y una IA justa. Al entrenar al modelo para que ignore los atributos sensibles durante su "infancia" (preentrenamiento), podemos crear una herramienta que esté lista para ser justa en el momento en que entra al mundo real.

Por supuesto, los autores advierten que esto no es una varita mágica que soluciona toda la discriminación. El modelo aún necesita ser probado con datos del mundo real, y la definición de "equidad" puede ser compleja. Pero este trabajo muestra un camino claro a seguir: podemos construir modelos de fundación que no solo sean potentes, sino también con principios, haciéndolos más seguros y confiables para decisiones de alto riesgo en finanzas, salud y justicia.

En resumen, los autores han demostrado que, con el entrenamiento adecuado, podemos enseñar a nuestros detectives de IA a resolver crímenes sin dejar que sus sesgos se interpongan en el camino. Y eso es una victoria para todos.

Resumen Técnico: Entrenamiento de Modelos Fundacionales Tabulares Justos

Declaración del Problema

Los Modelos Fundacionales Tabulares (TFMs, por sus siglas en inglés), como TabPFN y TabDPT, han surgido como métodos de vanguardia para tareas predictivas tabulares, aprovechando el aprendizaje en contexto (ICL) para adaptarse a nuevas tareas sin entrenamiento específico de la tarea ni ajuste de hiperparámetros. Sin embargo, a medida que estos modelos se despliegan cada vez más en dominios de alto riesgo como la salud y las finanzas, sus propiedades de equidad permanecen ampliamente inexploradas. Las técnicas existentes de entrenamiento orientado a la equidad, que típicamente intervienen en el preprocesamiento, durante el entrenamiento o en el postprocesamiento, son incompatibles con el paradigma de ICL. En ICL, las predicciones deben generarse en una sola pasada hacia adelante utilizando un modelo congelado, lo que impide la aplicación de restricciones de equidad específicas de la tarea o el reentrenamiento. Además, los enfoques de equidad para TFMs existentes, como FairPFN, se centran en nociones de equidad causal (equidad contrafáctica) en lugar de las mét la métricas de equidad de grupo estadística (Paridad Demográfica, Igualdad de Oportunidades, Igualdad de Resultados) comúnmentamente utilizadas en los benchmarks tabulares. Esto crea una brecha: no existe un método escalable para asegurar que los TFMs produzcan predicciones justas directamente a través de ICL sin acceso a atributos sensibles en el momento de la inferencia o sin requerir optimización específica de la tarea.

Metodología

Los autores proponen FairTFM, un marco que incorpora restricciones de equidad directamente en el preentrenamiento de los modelos fundacionales tabulares. El enfoque consta de dos componentes principales:

1. Generación de Tareas de Equidad Sintéticas

Para permitir un preentrenamiento de equidad escalable sin depender de atributos sensibles etiquetados en cada conjunto de datos, los autores introducen una estrategia de muestreo de tareas autosupervisada.

Proceso: A partir de un conjunto de datos muestreado, una característica de entrada se designa aleatoriamente como el atributo sensible ( $s$ ) y se elimina del conjunto de características.
Discretización: Si la característica seleccionada es continua, se convierte en una variable categórica mediante un esquema de discretización de "ruptura de rama" (stick-breaking). Esto implica muestrear proporciones de distribuciones Beta para construir pesos de mezcla mediante un proceso de Dirichlet, creando contenedores (bins) no uniformes dependientes de los datos.
Formación de la Tarea: El conjunto de datos se divide en conjuntos de contexto (entrenamiento) y de consulta (inferencia). El atributo sensible se enmascara en el conjunto de consulta y se reemplaza con un parámetro aprendible tanto en el preentrenamiento como en la inferencia, asegurando que el modelo no dependa del acceso directo a $s$ en el momento de la inferencia.

2. Arquitectura y Entrenamiento Orientados a la Equidad

El modelo extiende la arquitectura de transformador nanoTabPFN con un mecanismo de predicción de doble cabeza y aprendizaje adversarial.

Arquitectura: El transformador procesa tripletas $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ , donde $s_i$ $s_{i}$ es el atributo sensible tokenizado. Utiliza un backbone compartido y dos cabezales de MLP:
1. Cabezal de Predicción de Etiquetas: Predice la etiqueta objetivo $\hat{y}_{qy}$ .
2. Cabezal de Atributo Sensible: Predice el atributo sensible $\hat{s}_{qy}$ .
Capa de Reversión de Gradiente (GRL): Se coloca una GRL antes del cabezal del atributo sensible. Mientras que este cabezal se entrena para minimizar el error de predicción de $s$ , la GRL multiplica la señal del gradiente por $-1$ antes de la retropropagación al codificador del transformador compartido. Este objetivo adversarial obliga al codificador a aprender representaciones que sean invariantes al atributo sensible, suprimiendo efectivamente la información sobre $s$ mientras preserva la señal relevante para la tarea.
Objetivo de Entrenamiento: El modelo se optimiza utilizando una pérdida de entropía cruzada conjunta:
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
El hiperparámetro $\lambda$ controla el compromiso entre la precisión predictiva y la equidad. Un $\lambda$ más alto aumenta la penalización por codificar información sensible, empujando al modelo hacia la región más justa de la frontera de Pareto.

Principales Contribuciones

Síntesis de Tareas de Equidad Escalables: Una estrategia para generar tareas de equidad diversas a partir de priors de datos genéricos mediante la construcción de grupos por ruptura de rama, sin requerir atributos sensibles pre-etiquetados.
Arquitectura FairTFM: Una arquitectura basada en transformadores que utiliza aprendizaje adversarial (vía GRL) que permite predicciones justas en una sola pasada hacia adelante. Maneja atributos sensibles que cambian de identidad entre tareas y que están enmascarados en la inferencia.
Evaluación Empírica Exhaustiva: Pruebas extensas en 132 tareas de equidad (120 derivadas de ACS PUMS y 12 de otros benchmarks) demostrando que FairTFM mejora las métricas de equidad estadística (Demographic Parity, Equalized Odds, Equal Opportunity) manteniendo una precisión competitiva.

Resultados Experimentales

Los autores evaluaron FairTFM contra líneas base de aprendizaje automático estándar (LR, RF, XGBoost, KNN), TFMs recientes (TabPFNv2.5, TabICLv2) y la línea base de equidad causal FairPFN.

Compromiso Equidad-Precisión: En 120 tareas basadas en ACS, las variantes de FairTFM mejoraron consistentemente las métricas de equidad (Paridad Demográfica, Igualdad de Resultados, Igualdad de Oportunidades) en un 32–75% en relación con la línea base de TFM más fuerte (TabPFNv2.5), con costos de precisión de solo un 2–11%.
Comparación con Métodos Clásicos: FairTFM logró un rendimiento competitivo o superior comparado con las líneas base clásicas. Específicamente, con $\lambda=0.7$ , FairTFM dominó a la Regresión Logística en todas las métricas, ofreciendo mayor precisión y mejor equidad.
Comparación con FairPFN: Aunque FairPFN (equidad causal) logró una menor injusticia que los modelos sin restricciones, sufrió un costo predictivo significativo (el AUCROC más bajo). FairTFM proporcionó puntos de operación que dominan en Pareto a FairPFN, ofreciendo tanto mayor precisión como mejor equidad.
Generalización: El modelo generalizó bien a 12 benchmarks no-ACS (ej. Adult, COMPAS, German Credit), mostrando que la equidad aprendida de la preentrenamiento sintético se transfiere a través de diversas procedencias de datos.
Análisis de Representación: Los experimentos de sondeo confirmaron que los embeddings de FairTFM eliminan selectivamente la información sensible (reduciendo la predicción del atributo sensible a un AUC cercano al azar) mientras preservan la predictibilidad de la etiqueta.
Eficiencia: A diferencia de los métodos de equidad clásicos (ej. Exponentiated Gradient) que requieren reentrenamiento para cada nueva tarea y restricción, FairTFM logra estos resultados en una sola pasada hacia adelante sin optimización específica de la tarea.

Significancia y Reivindicaciones

El artículo afirma presentar el primer marco de preentrenamiento para modelos fundacionales tabulares que tiene en cuenta las nociones de equidad de grupo estadística (Paridad Demográfica, Igualdad de Oportunidades, Igualdad de Resultados) durante el preentrenamiento.

La significancia de este trabajo radica en su capacidad para integrar la equidad directamente en la fase de preentrenamiento del modelo fundacional, permitiendo predicciones justas en una sola pasada hacia adelante sin la necesidad de corrección post-hoc, reentrenamiento específico de la tarea o acceso a atributos sensibles en el momento de la inferencia. Los autores argumentan que este enfoque cierra la brecha entre la eficiencia del aprendizaje en contexto y los requisitos éticos de la toma de decisiones de alto riesgo. Posicionan a FairTFM no como un reemplazo para los métodos de equidad especializados en cada escenario, sino como un fundamento escalable que ofrece soluciones competitivas y eficientes en Pareto a través de tareas heterogéneas, allanando el camino para futuros trabajos sobre mejores priors de tareas de equidad y comportamientos de equidad adaptativos en modelos fundacionales.

Los autores reconocen modestamente las limitaciones, señalando que su preentrenamiento depende de priors sintéticos que pueden no capturar todas las estructuras semánticas de los atributos sensibles del mundo real, y que FairTFM no domina a las líneas base especializadas de equidad en cada métrica o configuración de tarea individual, particularmente en entornos más estrictos que involucran la edad como atributo sensible.