Joint Estimation of Credit Risk in Consumer Lending: A Multi-Gate Mixture-of-Experts Approach

Resumo Técnico: Estimativa Conjunta de Risco de Crédito no Empréstimo ao Consumidor via Multi-Gate Mixture-of-Experts

Definição do Problema

Na gestão de risco de crédito para empréstimos ao consumidor, o gerenciamento do risco baseia-se no cálculo da Perda Esperada (EL - Expected Loss), que é o produto da Probabilidade de Inadimplência (PD - Probability of Default) e da Perda Dado o Default (LGD - Loss Given Default). A prática padrão da indústria estima PD e LGD sequencialmente utilizando modelos separados (ex: regressão logística, XGBoost ou LightGBM). Esta abordagem apresenta três limitações primárias:

1. Subutilização de Informações Compartilhadas: A PD e a LGD dependem de características sobrepostas do tomador e do empréstimo (ex: capacidade de pagamento, alavancagem, histórico de crédito), mas a modelagem sequencial trata esses problemas como independentes, falhando em aproveitar representações compartilhadas.
2. Propagação de Erros: Como a EL é o produto das previsões de PD e LGD, os erros em qualquer um dos modelos de componentes se acumulam na estimativa final da EL.
3. Desalinhamento de Objetivos: Otimizar métricas individuais de cada componente (ex: AUC de PD ou MAE de LGD) não garante a calibração ideal da perda esperada combinada, que é o dado crítico para o capital regulatório e precificação baseada em risco.

Além disso, a estimativa de LGD enfrenta um desafio específico de censura à direita, onde os empréstimos ainda estão ativos ou possuem históricos de recuperação incompletos no momento da análise, distorcendo a distribuição empírica da severidade da perda.

Metodologia

O estudo propõe uma estrutura de Multi-Gate Mixture-of-Experts (MMoE) para estimar conjuntamente PD e LGD. Esta arquitetura é projetada para permitir o compartilhamento seletivo de parâmetros, permitindo que as tarefas utilizem diferentes combinações de redes de "especialistas" (experts) compartilhadas.

Dados e Pré-processamento:

• Fonte: Dados de empréstimos da Lending Club (anos de originação 2013–2016).
• Filtragem: Para lidar com a censura à direita, a amostra foi restrita a empréstimos que atingiram a maturidade contratual até a data de observação e que tiveram status terminal de "Totalmente Pago" (Fully Paid) ou "Dado como Calote" (Charged Off).
• Divisão: Divisão cronológica em conjuntos de treinamento (2013–2014), validação (2015) e teste (jan–fev 2016).
• Alvos (Targets):
  • PD: Indicador binário (1 para Charged Off, 0 para Fully Paid).
  • LGD: Taxa de perda econômica líquida para empréstimos em inadimplência, calculada como $1 - \frac{\text{Principal Total Recuperado} + \text{Recuperações} - \text{Taxas de Cobrança}}{\text{Valor Financiado}}$. Empréstimos não inadimplentes recebem um valor sentinela e são excluídos do cálculo de perda da LGD.

Arquitetura do Modelo:

• Especialistas (Experts): Um pool compartilhado de $K=4$ redes de especialistas. Cada especialista é um MLP (Multi-Layer Perceptron) com duas camadas ocultas (tamanhos 128 e 64), utilizando normalização por lote (batch normalization), ativação ReLU e dropout (0.2).
• Mecanismos de Portão (Gating Mechanisms): Duas redes de portão específicas para cada tarefa (uma para PD, outra para LGD) computam pesos suaves sobre o pool de especialistas usando uma função softmax. Isso permite que o modelo direcione as características de entrada para diferentes misturas de especialistas dependendo da tarefa.
• Cabeças de Predição (Heads): Cabeças de predição dedicadas para PD (ativação sigmoide) e LGD (regressão limitada).
• Função de Perda: O modelo otimiza um objetivo combinado usando ponderação de incerteza homocedástica (Kendall et al., 2018). Esta abordagem aprende parâmetros de log-variância ($s_{PD}, s_{LGD}$) para equilibrar automaticamente a perda de Entropia Cruzada Binária (Binary Cross-Entropy) para PD e o Erro Quadrático Médio (MSE) para LGD (calculado apenas sobre as observações em inadimplência).

Baselines (Modelos de Referência):
O modelo MMoE é comparado contra:

1. XGBoost Sequencial: Classificadores/regressores separados para PD e LGD.
2. LightGBM Sequencial: Classificadores/regressores separados para PD e LGD.
3. Aprendizado Multitarefa (MTL) de Compartilhamento Rígido (Hard-Sharing): Um único tronco MLP compartilhado com cabeças de saída separadas, representando o compartilhamento total de parâmetros sem roteamento seletivo.

Métricas de Avaliação:

• Métricas de Componente: AUC-ROC para PD; Erro Médio Absoluto (MAE) para LGD.
• Métrica Primária: EL-Cal RMSE (Erro Quadrático Médio de Calibração da Perda Esperada). Esta mede a concordância entre as taxas de EL previstas e realizadas através de decis de portfólio.

Principais Resultados

1. Calibração Superior da Perda Esperada:
Embora os modelos sequenciais e os modelos multitarefa tenham mostrado desempenho comparável nas métricas individuais de componentes (AUC de PD e MAE de LGD), as abordagens de estimativa conjunta superaram significativamente os baselines sequenciais na calibração da EL.

• O XGBoost sequencial e o LightGBM sequencial produziram valores de EL-Cal RMSE de 0,1114 e 0,1016, respectivamente.
• O modelo MTL de Hard-Sharing reduziu este valor para 0,0222.
• O modelo MMoE alcançou o menor EL-Cal RMSE de 0,0202, representando uma melhoria de 9,0% sobre o benchmark de hard-sharing.

2. Desempenho por Segmento:
Os benefícios do MMoE não foram uniformes através do espectro de risco de crédito:

• Baixo Risco (Graus A–B): O MTL de hard-sharing superou ligeiramente o MMoE (0,0098 vs. 0,0103 de EL-Cal RMSE), provavelmente porque as taxas de perda são baixas e homogêneas neste segmento, oferecendo pouco espaço para o roteamento específico de tarefas.
• Risco Médio (Graus C–D): O MMoE reduziu o EL-Cal RMSE em aproximadamente 18,3% em relação ao hard-sharing.
• Alto Risco (Graudes E–G): O MMoE reduziu o EL-Cal RMSE em aproximadamente 3,5% em relação ao hard-sharing.

3. Diagnóstico dos Pesos de Portão (Gate Weights):
A análise dos pesos de portão aprendidos revelou que o modelo utiliza o roteamento seletivo de forma eficaz:

• Diferenciação de Tarefas: O portão de PD roteia principalmente com base em uma dimensão de "qualidade de crédito" (ex: score FICO, taxa de juros), enquanto o portão de LGD incorpora variáveis mais específicas de severidade de perda (ex: tamanho da exposição, saldos rotativos, histórico de emprego).
• Segmentação de Risco: À medida que a qualidade de crédito deteriora (movendo-se do Grau A para E–G), os padrões de roteamento mudam sistematicamente. Por exemplo, o portão de PD desloca o peso para especialistas associados ao estresse de crédito, enquanto o portão de LGD realoca o peso de especialistas associados a saldos maiores para especialistas associados a perfis de maior risco. Isso confirma que o modelo aprende misturas distintas de especialistas para diferentes tarefas e segmentos de tomadores.

4. Robustez:
A análise de sensibilidade sobre o número de especialistas ($K \in \{2, 4, 6, 8\}$) mostrou que $K=4$ proporcionou o melhor desempenho. Aumentar a capacidade para $K=8$ degradou o desempenho, sugerindo que o excesso de capacidade pode desestabilizar o mecanismo de roteamento.

Significância e Alegações

O artigo reivindica três contribuições principais para a literatura e a prática da modelagem de risco de crédito:

1. Mudança no Foco de Avaliação: O estudo enfatiza que o objetivo final da modelagem de risco de crédito é a calibração da perda esperada combinada, e não apenas a precisão de seus componentes individuais. Demonstra que modelos com AUC de PD e MAE de LGD semelhantes podem produzir estimativas de perda esperada vastamente diferentes, argumentando que métricas de nível de componente são insuficientes para avaliar modelos de risco operacional.
2. Adaptação do MMoE ao Risco de Crédito: O trabalho adapta com sucesso a arquitetura Multi-Gate Mixture-of-Experts para a estimativa conjunta de PD e LGD. Os resultados validam que o compartilhamento seletivo de parâmetros (via portões específicos de tarefa) fornece valor adicional sobre a estimativa sequencial e o aprendizado multitarefa de hard-sharing, particularmente em segmentos de risco médio a alto, onde a relação entre a ocorrência de inadimplência e a severidade da perda é mais complexa.
3. Evidência Empírica de Roteamento Seletivo: O estudo fornece evidências em nível de portfólio e de segmento de que o roteamento seletivo melhora a calibração. A análise dos pesos de portão oferece prova descritiva de que o modelo aprende a utilizar diferentes combinações de representações compartilhadas para PD e LGD, e que essas estratégias de roteamento variam sistematicamente através dos segmentos de risco de crédito.

Os autores concluem que, embora a estimativa conjunta responda pela maior parte da melhoria na calibração da perda esperada, a capacidade do MMoE de rotear tarefas para misturas de especialistas específicas proporciona um ganho adicional e estatisticamente significativo, tornando-o um framework flexível para modelar resultados de risco de crédito relacionados, porém distintos.