Transfer Learning for Loan Recovery Prediction under Distribution Shifts with Heterogeneous Feature Spaces

Este artigo apresenta o FT-MDN-Transformer, uma arquitetura de Transformer baseada em mistura de densidades que utiliza aprendizado por transferência para melhorar a previsão de taxas de recuperação de empréstimos em cenários com escassez de dados e heterogeneidade de espaços de características, demonstrando ganhos significativos sobre modelos de base sob deslocamentos de covariáveis e condicionais.

O essencial

Imagine que você é um bombeiro experiente tentando prever o quão rápido um incêndio será extinto em um novo prédio.

No seu antigo trabalho (o "Domínio de Origem"), você lidava com prédios de concreto, com muitos extintores e hidrantes visíveis. Você aprendeu padrões: "Se o prédio tem X e Y, o fogo dura Z horas". Você acumulou milhares de casos e se tornou um mestre em prever isso.

Agora, você é transferido para uma nova equipe (o "Domínio Alvo") que cuida de navios no meio do oceano.

1. O problema dos dados: Você só tem 50 registros de incêndios em navios. É muito pouco para aprender do zero.
2. O problema das ferramentas: No seu antigo trabalho, você usava "extintores" e "hidrantes". No navio, eles usam "bombas de água" e "sistemas de espuma". As ferramentas (os dados) são diferentes e não se encaixam diretamente.
3. O problema do comportamento: Às vezes, o fogo no navio se comporta de forma totalmente diferente do que no prédio, mesmo que as ferramentas sejam parecidas.

Este artigo é sobre como criar um sistema de inteligência artificial (IA) que consegue usar o conhecimento do "bombeiro de prédios" para ajudar o "bombeiro de navios", mesmo com poucos dados e ferramentas diferentes.

Aqui está a explicação passo a passo:

1. O Grande Desafio: "Falta de Dados" e "Ferramentas Diferentes"

Na vida real dos bancos, prever quanto dinheiro será recuperado após um empréstimo não pago (chamado de Taxa de Recuperação) é difícil.

• Falta de dados: Empréstimos que dão errado são raros. É como tentar aprender a pilotar um avião vendo apenas 5 acidentes.
• Ferramentas diferentes: Um banco de empréstimos imobiliários tem dados sobre "m² da casa" e "bairro". Um banco de empréstimos para navios tem dados sobre "tonelagem" e "rota". Eles não falam a mesma língua.

A maioria dos sistemas de IA antigos quebra se as "ferramentas" (colunas de dados) não forem exatamente as mesmas.

2. A Solução Mágica: O "FT-MDN-Transformer"

Os autores criaram um novo modelo de IA chamado FT-MDN-Transformer. Pense nele como um aluno superinteligente com uma mochila mágica.

• A Mochila Mágica (Tokenização e Máscaras):
  Imagine que cada dado (idade do cliente, valor do empréstimo, tipo de garantia) é um brinquedo.

  • Se o aluno tem um brinquedo que o novo professor não tem (ex: "extintor" no navio), ele simplesmente esconde esse brinquedo na mochila (usa uma "máscara") e foca no que ambos têm.
  • Se o novo professor tem um brinquedo que o aluno nunca viu (ex: "bomba de água"), o aluno aprende a usá-lo rapidamente, sem precisar jogar tudo fora.
  • Isso permite que o modelo aprenda com o banco antigo e se adapte ao novo, mesmo que as listas de dados sejam diferentes.

• A Mochila de Previsão (Densidade Mista):
  A maioria das IAs tenta dar apenas um número (ex: "Vamos recuperar 60% do dinheiro").
  Mas a vida é incerta! Às vezes recuperamos 0%, às vezes 100%.
  Este modelo não dá apenas um número. Ele entrega um leque de possibilidades. Ele diz: "Há 30% de chance de recuperarmos pouco, 50% de chance de recuperar meio, e 20% de chance de recuperar tudo".

  • Analogia: Em vez de dizer "vai chover amanhã", ele diz "há 40% de chance de garoa, 40% de tempestade forte e 20% de sol". Isso é muito mais útil para quem precisa se preparar para o pior cenário.

3. O Que Eles Descobriram (Os Resultados)

Eles testaram esse "aluno" em duas situações:

1. Dados Reais: Usaram dados de empréstimos de um consórcio global (GCD) para tentar prever dados de títulos de um banco específico (UP5).
2. Simulação: Criaram um "universo de brinquedos" onde podiam forçar problemas específicos (como mudar o comportamento do fogo de repente).

As descobertas principais:

• Funciona quando há poucos dados: Quando o novo banco tem poucos registros de falência, usar o conhecimento do banco antigo ajuda muito. O modelo aprende mais rápido.
• Resiste a mudanças de "ferramentas": O modelo aguentou bem quando os dados mudaram de um lado para o outro. Ele não se confunde se faltar uma coluna de dados ou se aparecer uma nova.
• O "Inimigo" é a Mudança de Comportamento (Label Shift):
  • Se as ferramentas mudam (covariáveis), o modelo se adapta.
  • Se a relação entre ferramenta e resultado muda (condicional), o modelo se adapta.
  • MAS, se o resultado em si muda drasticamente (ex: no banco antigo, a maioria dos empréstimos era recuperada; no novo, a maioria é perdida), o modelo sofre. É como se o "fogo" no navio fosse de um tipo de combustível que nunca existiu nos prédios. Nesse caso, o conhecimento antigo ajuda menos.

4. A Lição para o Mundo Real

Para os gerentes de risco e bancos, a mensagem é clara:

1. Não jogue fora o conhecimento antigo: Mesmo que os dados sejam diferentes, você pode usar o que aprendeu em um banco para ajudar outro, desde que use a "mochila mágica" certa (o modelo proposto).
2. Olhe para o "todo", não apenas para a média: Não basta prever "quanto" será recuperado. É crucial prever a distribuição (o leque de possibilidades), especialmente para saber o que pode dar errado (os cenários de pesadelo).
3. Cuidado com mudanças bruscas: Se o comportamento dos devedores mudar completamente (mudança de "rótulo"), o modelo precisa ser reavaliado. O conhecimento antigo não é uma bala de prata se a realidade mudou de forma radical.

Resumo em uma frase:
Os autores criaram um "cérebro digital" que consegue aprender com experiências passadas em um ambiente diferente, adaptando-se a novas ferramentas e prevendo não apenas um número, mas todo o leque de riscos possíveis, ajudando bancos a se protegerem melhor mesmo quando têm poucos dados novos.

Resumo técnico

Resumo Técnico: Transfer Learning para Previsão de Taxas de Recuperação com Espaços de Características Heterogêneos

1. O Problema

A previsão precisa das Taxas de Recuperação (RR - Recovery Rates) é fundamental para a gestão de risco de crédito e a determinação de capital regulatório. No entanto, a modelagem de RR enfrenta dois desafios principais:

• Escassez de Dados: Em muitas carteiras de empréstimos (especialmente nichos ou especializadas), os eventos de inadimplência são raros, resultando em poucos dados de recuperação para treinar modelos robustos.
• Desafios de Transferência e Heterogeneidade: A Aprendizagem por Transferência (TL) oferece uma solução ao aproveitar dados de domínios fonte ricos, mas sua eficácia é limitada por:
  1. Desvios de Distribuição: Diferenças entre as distribuições de dados fonte e alvo (desvios de covariáveis, condicionais e de rótulos).
  2. Heterogeneidade de Características: Portfólios diferentes frequentemente registram conjuntos de variáveis distintos (espaços de características não idênticos), o que impede o uso direto de métodos de TL tradicionais que assumem esquemas de características alinhados.
  3. Complexidade da Distribuição: As taxas de recuperação exibem comportamentos complexos, como multimodalidade (ex: recuperação baixa para empréstimos sem garantia vs. alta para garantidos) e caudas pesadas, que modelos de estimativa pontual (média) falham em capturar adequadamente.

2. Metodologia Proposta: FT–MDN–Transformer

Os autores propõem uma nova arquitetura chamada FT–MDN–Transformer (FT–MDN–T), projetada especificamente para TL em cenários de escassez de dados e características heterogêneas.

• Arquitetura Baseada em Transformers Tabulares:

  • Tokenização por Característica: Em vez de concatenar todas as características em um único vetor, cada característica é mapeada para um "token" individual. Isso permite que o modelo lide dinamicamente com a presença ou ausência de variáveis.
  • Máscara de Atenção e Tokens de Preenchimento (PAD): Para lidar com a heterogeneidade, características ausentes no domínio alvo são substituídas por tokens de preenchimento aprendidos e mascaradas na atenção do Transformer. Isso permite que o modelo utilize informações de características compartilhadas enquanto ignora as que não existem no alvo, sem alterar a geometria do espaço de entrada.
  • Encoders Específicos: O modelo mantém bancos de codificadores separados para características compartilhadas e específicas de tarefas, permitindo a reutilização de pesos pré-treinados e o treinamento de novas embeddings para características exclusivas do alvo.

• Cabeça de Densidade de Mistura (Mixture Density Network - MDN):

  • Em vez de prever apenas um valor pontual (média), a saída do modelo é uma distribuição de probabilidade condicional modelada como uma mistura de Gaussianas ($\sum \alpha_k \mathcal{N}(\mu_k, \sigma_k^2)$).
  • Isso permite capturar a multimodalidade e a heterocedasticidade das taxas de recuperação, fornecendo previsões probabilísticas completas (úteis para testes de estresse e cálculo de capital) além de estimativas pontuais.

• Estratégia de Transferência em Duas Etapas:

  1. Pré-treinamento: O modelo é treinado no domínio fonte (rico em dados) usando um esquema de características específico (total ou apenas compartilhado).
  2. Ajuste Fino (Fine-tuning): O modelo é adaptado ao domínio alvo (poucos dados). Durante esta fase, os tokens de características ausentes no alvo são mascarados, e novas embeddings para características exclusivas do alvo são inicializadas e treinadas, enquanto os pesos compartilhados são ajustados.

3. Contribuições Principais

1. Arquitetura Inovadora: Introdução do FT–MDN–T, que combina Transformers tabulares com cabeças de densidade de mistura para permitir TL através de espaços de características heterogêneos e parcialmente sobrepostos.
2. Estudo Empírico Realista: Avaliação utilizando dois conjuntos de dados reais distintos:
   • Fonte: Global Credit Data (GCD) - Empréstimos corporativos garantidos.
   • Alvo: UP5 - Títulos corporativos não garantidos (bonds).
   • O estudo demonstra a transferência entre produtos financeiros com apenas 37 características sobrepostas de um total de centenas.
3. Framework de Simulação Controlada: Desenvolvimento de um framework de Monte Carlo para gerar dados sintéticos de recuperação com desvios de distribuição controlados (covariáveis, condicionais e de rótulos) e regimes de sobreposição de características, permitindo a análise isolada de cada fator de dificuldade.

4. Resultados Chave

• Desempenho em Dados Escassos: O FT–MDN–T superou significativamente modelos de base (XGBoost, Random Forest, MLP) quando os dados do domínio alvo eram limitados. Os ganhos foram mais pronunciados sob desvios de covariáveis e condicionais.
• Robustez à Heterogeneidade: A arquitetura demonstrou ser robusta quando características do domínio fonte desapareciam no alvo ou vice-versa. Em contraste, modelos baseados em árvores (XGBoost) sofreram degradação severa de desempenho sob desalinhamento de esquemas de características.
• Desafio do Desvio de Rótulo (Label Shift): O modelo manteve bom desempenho sob desvios de covariáveis e condicionais, mas o desvio de rótulo (mudança na distribuição marginal das taxas de recuperação) permaneceu o maior desafio, reduzindo os benefícios da transferência.
• Valor da Modelagem Distribucional: As previsões probabilísticas do modelo rastrearam de perto as distribuições empíricas de recuperação, capturando a estrutura bimodal (picos em 0 e 1) que modelos de estimativa pontual ocultam. Isso fornece informações ricas sobre risco de cauda.
• Eficiência de Amostra: A transferência acelerou o aprendizado, sendo particularmente benéfica quando o tamanho da amostra alvo era muito pequeno (ex: < 500 observações). À medida que os dados alvo aumentavam, os modelos treinados apenas no alvo conseguiam fechar a lacuna de desempenho.

5. Significado e Implicações

• Para Gestores de Risco: O estudo fornece insights práticos sobre quando a Transferência Learning é viável. Ela é mais eficaz quando há sobreposição moderada de características e quando as distribuições de recuperação entre os portfólios são alinhadas.
• Monitoramento de Desvio: A importância de monitorar continuamente o desvio de distribuição (especialmente de rótulos) é destacada, pois mudanças na distribuição marginal da recuperação podem invalidar os benefícios da transferência.
• Avanço Metodológico: O trabalho demonstra que arquiteturas sensíveis à distribuição e flexíveis em relação ao esquema de características podem tornar a TL viável em domínios financeiros complexos e heterogêneos, superando as limitações dos métodos tradicionais que exigem dados abundantes e esquemas de características idênticos.
• Ferramenta de Pesquisa: O framework de simulação proposto serve como uma ferramenta reutilizável para avaliar futuros modelos de previsão de crédito sob condições controladas de desvio e escassez de dados.

Em resumo, o artigo estabelece que a combinação de arquiteturas baseadas em Transformers com modelagem de densidade de mistura e mecanismos de adaptação de esquema oferece uma solução robusta para a previsão de taxas de recuperação em cenários de dados escassos e heterogêneos, embora o desvio na distribuição dos rótulos continue sendo uma barreira crítica a ser gerenciada.