🤖 machine learning

Training Fair Tabular Foundation Models

Este artigo apresenta o FairTFM, uma estratégia de treinamento escalável que incorpora restrições de equidade diretamente em Modelos de Fundação Tabulares por meio de tarefas de equidade sintéticas e uma camada de reversão de gradiente, permitindo previsões justas e em contexto sem acesso a atributos sensíveis, ao mesmo tempo em que mantém uma precisão competitiva.

Autores originais: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Publicado 2026-08-17

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério usando um assistente de IA superinteligente e pré-treinado. Este assistente leu milhões de arquivos de casos e aprendeu a identificar padrões em dados, como um detetive experiente que consegue olhar para algumas pistas e instantaneamente adivinhar o culpado. Este é o mundo dos Modelos de Fundação Tabulares. Pense neles como "detetives universais" que podem saltar para qualquer novo caso — seja prevendo aprovações de empréstimos, diagnosticando doenças ou decidindo quem recebe uma bolsa de estudos — sem precisar serem retreinados do zero. Eles usam um truque chamado Aprendizado em Contexto (In-Context Learning), que é como dar ao detetive alguns exemplos do caso atual em um caderno e dizer: "É assim que costumamos resolver estes; agora resolva este".

Mas aqui está o detalhe: mesmo os detetives mais inteligentes podem ter vieses ocultos. Se o detetive aprendeu com arquivos de casos antigos onde certos grupos de pessoas eram tratados de forma injusta, ele pode acidentalmente tratar novas pessoas desses mesmos grupos de forma injusta também. Este é o problema da equidade algorítmica (algorithmic fairness). No mundo real, existem regras estritas (como leis antidiscriminação) que dizem que as decisões não devem depender de traços sensíveis como gênero, raça ou idade. A grande questão que os cientistas estão fazendo é: Podemos ensinar esses "detetives universais" a serem justos antes mesmo de verem um caso real, para que não precisem ser corrigidos depois?

Este artigo apresenta um novo método chamado FairTFM, que tenta incutir a equidade diretamente no cérebro do detetive durante seu treinamento. Em vez de apenas ensinar o modelo a ser preciso, os pesquisadores o ensinam a ignorar as pistas "sensíveis" que não deveriam importar. Eles descobriram que, ao usar um truque de treinamento inteligente, podem criar um modelo que faz previsões mais justas em um único olhar, sem a necessidade de ser retreinado para cada nova tarefa. Embora o modelo às vezes tenha que fazer uma pequena troca (trade-off) em quão perfeitamente preciso ele é, os resultados sugerem que ele pode reduzir significativamente a injustiça — às vezes em mais de 70% — enquanto ainda faz um ótimo trabalho em sua tarefa principal.

O Problema: O "Detetive Universal" com um Ponto Cego

Dados tabulares são apenas informações organizadas em linhas e colunas, como uma planilha gigante. Por décadas, a melhor maneira de fazer previsões a partir dessas planilhas foi usar modelos baseados em árvores (pense neles como fluxogramas que fazem uma série de perguntas de sim ou não). Mas recentemente, um novo tipo de IA chamado Modelo de Fundação Tabular (TFM) surgiu. Estes são como os "super-detetives" do mundo dos dados. Eles são treinados em coleções massivas de dados para que possam se adaptar a novas tarefas instantaneamente, usando apenas alguns exemplos fornecidos no momento da previsão.

O problema é que esses super-detetives estão aprendendo com o passado, e o passado é frequentemente cheio de injustiças. Se os dados históricos de um banco mostram que as mulheres tiveram empréstimos negados com mais frequência do que os homens sem um bom motivo, um TFM padrão pode aprender esse padrão e continuar negando empréstimos a mulheres, mesmo que isso seja ilegal e errado.

Geralmente, para corrigir isso, os cientistas de dados tentam "limpar" os dados antes do treinamento, ou ajustam o modelo depois que ele já foi treinado. Mas com os TFMs, isso é complicado. Como esses modelos são projetados para serem "congelados" (o que significa que não alteramos seus pesos internos para cada nova tarefa), não podemos facilmente voltar e retreiná-los para cada banco ou hospital específico. Precisamos de uma maneira de torná-los justos antes de serem implantados, para que estejam prontos para serem justos no momento em que lhes pedirem para resolver um novo problema.

A Solução: Treinando o Detetive para Ignorar as Pistas "Erradas"

Os autores deste artigo, Patrik Kenfack e sua equipe, propõem uma nova maneira de treinar esses modelos chamada FairTFM. A ideia deles é simples, mas poderosa: durante a fase de treinamento, eles ensinam o modelo a resolver um jogo onde ele tem que prever o resultado sem usar a informação sensível.

Aqui está como eles fazem isso, usando uma analogia divertida:

Imagine que você está treinando um detetive para resolver um mistério sobre quem roubou um biscoito. Você tem uma lista de pistas: a hora do dia, o tipo de pegada de sapato e a cor favorita do suspeito. Mas você também tem uma pista "sensível": o gênero do suspeito. Você quer que o detetive resolva o crime com base na pegada do sapato e na hora, mas não com base no gênero.

No passado, você poderia ter tentado apenas esconder a pista de gênero. Mas o detetive é esperto; ele pode ainda adivinhar o gênero com base em outras pistas (como a pegada do sapato) e usar isso para obter uma vantagem injusta.

O FairTFM usa um jogo de duas partes:

O Jogo Principal: O detetive tenta adivinhar quem roubou o biscoito (a previsão principal).
O Jogo Anti-Trapaça: Ao mesmo tempo, o detetive é forçado a adivinhar o gênero do suspeito baseando-se apenas nas pistas que usou para resolver o crime.

Aqui está o truque de mágica: Os pesquisadores usam uma ferramenta especial chamada Camada de Reversão de Gradiente (Gradient Reversal Layer). Pense nisso como uma "marcha ré" para o cérebro do detetive. Quando o detetive tenta adivinhar o gênero, a ferramenta inverte o feedback. Se o detetive acertar o gênero, a ferramenta diz: "Não, isso é ruim! Você está dependendo demais do gênero!", e empurra o detetive para esquecer essa conexão.

Ao fazer isso repetidamente com milhares de diferentes cenários de "roubo de biscoito" (onde a pista sensível muda de gênero para idade ou raça aleatoriamente), o detetive aprende a resolver o crime usando apenas as pistas relevantes. Eles aprendem a construir um mapa mental do mundo onde a pista de gênero é invisível.

Os Resultados: Equidade Sem Perder o Fio da Meada

A equipe testou seu novo "Detetive Justo" (FairTFM) em 132 tarefas diferentes, que variam desde prever renda até verificar se alguém voltará a ser preso. Eles compararam-no contra:

Detetives Padrão: Os usuais e super-precisos TFMs (como TabPFN e TabICL) que não se preocupam com a equidade.
Detetives da Velha Guarda: Modelos tradicionais como Florestas Aleatórias (Random Forests) e Regressão Logística.
O Competidor "Justo": Outro modelo chamado FairPFN, que tenta ser justo, mas usa uma definição de equidade diferente e mais complexa.

Os resultados foram promissores. Os TFMs padrão, super-precisos, eram de fato os mais precisos, mas também eram os mais injustos. Eles cometiam grandes erros no tratamento de diferentes grupos de pessoas.

O FairTM, no entanto, encontrou um ponto de equilíbrio. Ao ajustar um "botão" (chamado $\lambda$ ) que controla o quanto o modelo tenta ser justo, os pesquisadores puderam calibrar o equilíbrio perfeito.

A Troca (Trade-off): Para obter previsões mais justas, o modelo teve que abrir mão de um pouco da precisão bruta. O artigo descobriu que, para uma pequena queda na precisão (entre 2% e 11%), o modelo tornou-se 32% a 75% mais justo do que os modelos padrão.
A Vitória de "Passagem Única": A melhor parte é que o FairTFM faz isso em uma única passagem direta (forward pass). Você não precisa retreiná-lo para cada novo banco ou hospital. Você apenas fornece os dados, e ele produz uma previsão justa instantaneamente.

Quando comparado ao outro modelo "justo" (FairPFN), o FairTFM saiu na frente. O FairPFN era justo, mas era muito menos preciso. O FairTFM conseguiu ser tanto justo quanto preciso, superando o FairPFN em quase todas as métricas.

O Que Isso Significa para o Futuro

O artigo sugere que não precisamos escolher entre um IA inteligente e uma IA justa. Ao treinar o modelo para ignorar atributos sensíveis durante sua "infância" (pré-treinamento), podemos criar uma ferramenta que está pronta para ser justa no momento em que entra no mundo real.

É claro que os autores ressaltam que isso não é uma varinha mágica que resolve toda a discriminação. O modelo ainda precisa ser testado com dados do mundo real, e a definição de "equidade" pode ser complexa. Mas este trabalho mostra um caminho claro: podemos construir modelos de fundação que não são apenas poderosos, mas também principais, tornando-os mais seguros e confiáveis para decisões de alto risco na área financeira, saúde e justiça.

Em suma, os autores mostraram que, com o treinamento correto, podemos ensinar nossos detetives de IA a resolver crimes sem deixar que seus vieses atrapalhem o caminho. E isso é uma vitória para todos.

Resumo Técnico: Treinamento de Modelos de Fundação para Dados Tabulares Justos

Declaração do Problema

Os Modelos de Fundação para Dados Tabulares (TFMs), como o TabPFN e o TabDPT, surgiram como métodos de estado da arte para tarefas preditivas tabulares, aproveitando o aprendizado em contexto (ICL) para se adaptarem a novas tarefas sem treinamento específico para a tarefa ou ajuste de hiperparâmetros. No entanto, à medida que esses modelos são cada vez mais implantados em domínios de alto risco, como saúde e finanças, suas propriedades de justiça permanecem amplamente inexploradas. As técnicas existentes de treinamento voltadas para a justiça, que tipicamente intervêm no pré-processamento, durante o treinamento ou no pós-processamento, são incompatíveis com o paradigma de ICL. No ICL, as previsões devem ser geradas em uma única passagem direta (forward pass) usando um modelo congelado, o que impede a aplicação de restrições de justiça específicas da tarefa ou o retreinamento. Além disso, as abordagens de justiça para TFMs existentes, como o FairPFN, focam em noções de justiça causal (justiça contrafactual) em vez das métricas de justiça de grupo estatística (Paridade Demográfica, Igualdade de Oportunidades, Igualdade de Odds) comumente usadas em benchmarks tabulares. Isso cria uma lacuna: não há um método escalável para garantir que os TFMs produzam previsões justas diretamente através de ICL sem acesso a atributos sensíveis no momento da inferência ou exigindo otimização específica da tarefa.

Metodologia

Os autores propõem o FairTFM, um framework que incorpora restrições de justiça diretamente no pré-treinamento de modelos de fundação tabulares. A abordagem consiste em dois componentes primários:

1. Geração de Tarefas de Justiça Sintéticas

Para permitir um pré-treinamento de justiça escalável sem depender de atributos sensíveis rotulados em cada conjunto de dados, os autores introduzem uma estratégia de amostragem de tarefas autossupervisionadas.

Processo: De um conjunto de dados amostrado, um atributo de entrada é designado aleatoriamente como o atributo sensível ( $s$ ) e removido do conjunto de atributos.
Discretização: Se o atributo selecionado for contínuo, ele é convertido em uma variável categórica usando um esquema de discretização de "quebra de galho" (stick-breaking). Isso envolve a amostragem de proporções de distribuições Beta para construir pesos de mistura via um processo de Dirichlet, criando bins não uniformes dependentes dos dados.
Formação da Tarefa: O conjunto de dados é dividido em conjuntos de contexto (treinamento) e consulta (inferência). O atributo sensível é mascarado no conjunto de consulta e substituído por um parâmetro aprendível tanto no pré-treinamento quanto na inferência, garantindo que o modelo não dependa do acesso direto a $s$ no momento da inferência.

2. Arquitetura e Treinamento com Foco em Justiça

O modelo estende a arquitetura transformer nanoTabPFN com um mecanismo de predição de cabeça dupla e aprendizado adversarial.

Arquitetura: O transformer processa tripletos $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ , onde $s_i$ $s_{i}$ é o atributo sensível tokenizado. Ele utiliza um backbone compartilhado e duas cabeças MLP (Perceptron Multicamadas):
1. Cabeça de Predição de Rótulo: Prediz o rótulo alvo $\hat{y}_{qy}$ .
2. Cabeça de Atributo Sensível: Prediz o atributo sensível $\hat{s}_{qy}$ .
Camada de Reversão de Gradiente (GRL): Uma GRL é colocada antes da cabeça do atributo sensível. Enquanto esta cabeça é treinada para minimizar o erro de predição para $s$ , a GRL multiplica o sinal de gradiente por $-1$ antes da retropropagação para o codificador transformer compartilhado. Esse objetivo adversarial força o codificador a aprender representações que são invariantes ao atributo sensível, suprimindo efetivamente a informação sobre $s$ enquanto preserva o sinal relevante para a tarefa.
Objetivo de Treinamento: O modelo é otimizado usando uma perda de entropia cruzada conjunta:
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
O hiperparâmetro $\lambda$ controla o equilíbrio entre a precisão preditiva e a justiça. Um $\lambda$ mais alto aumenta a penalidade para a codificação de informações sensíveis, empurrando o modelo em direção à região justa da fronteira de Pareto.

Principais Contribuições

Síntese de Tarefas de Justiça Escalável: Uma estratégia para gerar tarefas de justiça diversas a partir de priors de dados genéricos usando construção de grupo por quebra de galho, não requerendo atributos sensíveis pré-rotulados.
Arquitetura FairTFM: Uma arquitetura baseada em transformer utilizando aprendizado adversarial (via GRL) que permite previsões justas em uma única passagem direta. Ela lida com atributos sensíveis que mudam de identidade entre tarefas e que são mascarados na inferência.
Avaliação Empírica Abrangente: Testes extensos em 132 tarefas de justiça (120 derivadas de ACS PUMS e 12 de outros benchmarks) demonstrando que o FairTFM melhora as métricas de justiça de grupo estatística enquanto mantém uma precisão competitiva.

Resultados Experimentais

Os autores avaliaram o FairTFM contra baselines de aprendizado de máquina padrão (LR, RF, XGBoost, KNN), TFMs recentes (TabPFNv2.5, TabICLv2) e o baseline de justiça causal FairPFN.

Compromisso entre Justiça e Precisão: Em 120 tarefas baseadas em ACS, as variantes do FairTFM melhoraram consistentemente as métricas de justiça (Paridade Demográfica, Igualdade de Odds, Igualdade de Oportunidades) em 32–75% em relação ao baseline de TFM mais forte (TabPFNv2.5), com custos de precisão de apenas 2–11%.
Comparação com Métodos Clássicos: O FairTFM alcançou desempenho competitivo ou superior em comparação com baselines clássicos. Especificamente, em $\lambda=0.7$ , o FairTFM dominou a Regressão Logística em todas as métricas, oferecendo maior precisão e melhor justiça.
Comparação com FairPFN: Embora o FairPFN (justiça causal) tenha alcançado menor injustiça do que modelos não restritos, ele sofreu um custo preditivo significativo (menor AUCROC). O FairTFM forneceu pontos operacionais que Pareto-dominaram o FairPFN, oferecendo tanto maior precisão quanto melhor justiça.
Generalização: O modelo generalizou bem para 12 benchmarks não-ACS (ex: Adult, COMPAS, German Credit), mostrando que a justiça aprendida a partir de pré-treinamento sintético se transfere entre diferentes proveniências de dados.
Análise de Representação: Experimentos de sondagem confirmaram que os embeddings do FairTFM removem seletivamente informações sensíveis (reduzindo a predição do atributo sensível para um AUC próximo ao acaso) enquanto preservam a previsibilidade do rótulo.
Eficiência: Diferente de métodos clássicos orientados à justiça (ex: Gradiente Exponenciadoado) que exigem retreinamento para cada nova tarefa e restrição, o FairTFM alcança esses resultados em uma única passagem direta sem otimização específica da tarefa.

Significância e Alegações

O artigo afirma apresentar o primeiro framework de pré-treinamento para modelos de fundação tabulares que considera noções de justiça de grupo estatística (Paridade Demográfica, Igualdade de Oportunidades, Igualdade de Odds) durante o pré-treinamento.

A significância deste trabalho reside em sua capacidade de integrar a justiça diretamente na fase de pré-treinamento do modelo de fundação, permitindo previsões justas em uma única passagem direta sem a necessidade de correção pós-hoc, retreinamento específico da tarefa ou acesso a atributos sensíveis no momento da inferência. Os autores argumentam que esta abordagem preenche a lacuna entre a eficiência do aprendizado em contexto e os requisitos éticos da tomada de decisão de alto risco. Eles posicionam o FairTFM não como um substituto para métodos de justiça especializados em todos os cenários, mas como uma fundação escalável que oferece soluções competitivas e Pareto-eficientes através de tarefas heterogêneas, pavimentando o caminho para trabalhos futuros sobre melhores priors de tarefas de justiça e comportamentos de justiça adaptativos em modelos de fundação.

Os autores reconhecem modestamente as limitações, observando que seu pré-treinamento depende de priors sintéticos que podem não capturar todas as estruturas semânticas de atributos sensíveis do mundo real, e que o FairTFM não domina baselines especializados em justiça em cada métrica ou configuração de tarefa individual, particularmente em configurações mais rigorosas envolvendo a idade como um atributo sensível.