Resumo Técnico: V4FinBench

Declaração do Problema

A previsão de falência corporativa é uma tarefa financeira de alto risco, caracterizada por desequilíbrio severo de classes e pela necessidade de previsão multi-horizonte. Apesar de sua importância prática para investidores, credores e reguladores, os recursos públicos para estudar esse problema permanecem escassos. Benchmarks gratuitos amplamente utilizados (por exemplo, conjuntos de dados da bolsa de valores polonesa, taiwanesa e americana da UCI) tipicamente contêm entre 6.000 e 80.000 observações empresa-ano, o que é insuficiente para o ajuste fino significativo de modelos fundacionais modernos. Recursos maiores e mais ricos existem, mas estão atrás de paywalls de assinatura, limitando a reprodutibilidade e a avaliação de métodos que exigem dados substanciais para adaptação. Além disso, conjuntos de dados públicos existentes frequentemente carecem de rótulos multi-horizonte ou definições consistentes de dificuldade financeira, dificultando a avaliação de comportamentos dependentes do horizonte ou a comparação de métodos sob condições financeiras realistas.

Metodologia e Construção do Benchmark

Para abordar essas lacunas, os autores introduzem o V4FinBench, um benchmark público composto por 1.106.879 observações empresa-ano das economias do Grupo de Visegrád (V4) (República Tcheca, Hungria, Polônia e Eslováquia), abrangendo o período de 2006 a 2021.

Dados e Recursos

• Fonte: Os dados são extraídos do serviço EMIS, cobrindo 203.900 empresas únicas.
• Recursos: Cada observação é descrita por 131 recursos, incluindo metadados da empresa, índices financeiros, medidas de crescimento, medidas de tamanho e indicadores relativos ao setor.
• Definição de Dificuldade Financeira: Diferentemente de estudos anteriores que dependiam de pedidos formais de falência legal, o V4FinBench utiliza um critério composto de dificuldade financeira. Uma empresa é rotulada como em dificuldade financeira em seu último ano de relatório apenas se satisfizer simultaneamente três condições:
  1. Solvência: Patrimônio líquido negativo em relação ao total de ativos ($< 0$).
  2. Lucratividade: EBITDA negativo em relação ao total de ativos ($< 0$).
  3. Liquidez: Índice de liquidez corrente abaixo de 0,6 ($< 0,6$).
• Tarefas Multi-Horizonte: O benchmark define seis tarefas de previsão binária correspondentes aos horizontes $h \in \{0, 1, \dots, 5\}$ anos à frente. Para cada horizonte, os últimos $h$ anos de dados para empresas em dificuldade financeira são removidos, e a observação resultante é rotulada como positiva.
• Desequilíbrio: As tarefas resultantes exibem desequilíbrio severo de classes, com taxas de positivos variando de 0,19% a 0,36%.

Protocolo de Avaliação

Os autores definem um protocolo de avaliação fixo e reprodutível:

• Dobramento: Validação cruzada estratificada em 5 dobras com agrupamento ao nível da empresa dentro dos países para evitar vazamento de dados.
• Pré-processamento: Valores ausentes são imputados usando as medianas do conjunto de treinamento; os recursos são padronizados usando estatísticas do conjunto de treinamento.
• Métricas: Dado o desequilíbrio, o F1-score e o ROC-AUC são as métricas primárias. Os limiares de decisão são calibrados na dobra de validação maximizando o F1 na curva precisão-recall.

Métodos Avaliados

O artigo avalia três famílias de métodos:

1. Baselines Tabulares Clássicas: Regressão Logística (LR), Perceptron Multicamadas (MLP), Random Forest, XGBoost, CatBoost e LightGBM.
2. Modelo Fundacional Tabular (TabPFN): Um aprendiz em contexto pré-treinado ajustado finamente com construção de contexto consciente do desequilíbrio. Os autores comparam três estratégias para construir o contexto de 10.000 amostras:
   • Sem reamostragem: Amostragem uniforme (deixa a classe minoritária fracamente representada).
   • Subamostragem aleatória: Subamostragem aleatória da classe majoritária para uma proporção de 0,3.
   • Subamostragem por protótipos: Seleção de representantes majoritários via agrupamento K-means para preservar a estrutura da população não em dificuldade financeira.
3. Modelo de Linguagem Grande (LLM): Llama-3-8B ajustado finamente via QLoRA em registros financeiros serializados formatados como conversas no estilo de instruções.

Resultados Principais

1. TabPFN vs. Baselines Clássicas

• A Construção do Contexto Importa: A subamostragem por protótipos produziu os melhores resultados para o TabPFN, superando a subamostragem aleatória e a ausência de reamostragem. Isso indica que preservar a diversidade estrutural da classe majoritária é crucial além de simplesmente aumentar a exposição à minoria.
• Desempenho: Com subamostragem por protótipos, o TabPFN igualou ou superou as árvores de gradiente impulsionadas (as baselines clássicas mais fortes) no ROC-AUC em cada horizonte. No F1-score, o TabPFN igualou o gradiente impulsionado no horizonte imediato ($h=0$) e superou-o a partir de $h=2$.

2. Desempenho do LLM (Llama-3-8B)

• Comparação: O Llama-3-8B ajustado finamente via QLoRA ficou atrás das árvores de gradiente impulsionadas (especificamente XGBoost) no ROC-AUC em cada horizonte e foi geralmente mais fraco no F1-score.
• Dependência do Horizonte: O LLM performou melhor no horizonte imediato, mas sua capacidade de classificação declinou acentuadamente além de $h=0$, permanecendo próxima ao acaso em horizontes mais longos. A lacuna entre o LLM e o XGBoost aumentou significativamente à medida que o horizonte de previsão aumentava.

3. Transferência entre Conjuntos de Dados

• Validação Externa: Os autores avaliaram um checkpoint do TabPFN ajustado finamente no V4FinBench no American Bankruptcy Dataset (uma economia, período e conjunto de recursos diferentes).
• Resultado: O modelo ajustado finamente melhorou sobre o TabPFN vanilla (pré-treinado) tanto no ROC-AUC (0,818 $\to$ 0,842) quanto no F1-score (0,372 $\to$ 0,409). Isso sugere que a adaptação capturou estrutura de dificuldade financeira transferível em vez de apenas overfitting a padrões específicos do V4.

Significado e Contribuições

O artigo faz três contribuições principais:

1. Conjunto de Dados V4FinBench: Um benchmark público de dificuldade corporativa em grande escala, projetado especificamente para apoiar o ajuste fino de modelos fundacionais. Ele cobre 1,1 milhão de observações em quatro países, seis horizontes de previsão e um critério composto de dificuldade financeira, abordando a escassez de grandes conjuntos de dados financeiros acessíveis gratuitamente.
2. Protocolo de Avaliação Reprodutível: Um framework padronizado para comparar métodos tabulares clássicos, modelos fundacionais tabulares e abordagens baseadas em LLM sob condições realistas de desequilíbrio de classes e previsão multi-horizonte.
3. Insights Empíricos:
   • Demonstra que a construção de contexto consciente do desequilíbrio (especificamente subamostragem por protótipos) é crítica para adaptar modelos fundacionais tabulares a dados financeiros severamente desequilibrados, permitindo que compitam com ou superem baselines de gradiente impulsionado fortes.
   • Mostra que, nesta configuração de previsão estruturada, o ajuste fino de LLMs com registros serializados ainda não é competitivo com baselines tabulares fortes, particularmente para horizontes de previsão mais longos.
   • Fornece evidências preliminares de que benchmarks como o V4FinBench podem suportar adaptações que transferem para distribuições externas, capturando estruturas financeiras reutilizáveis.

Os autores enfatizam que o V4FinBench destina-se a avaliação de benchmarks e pesquisa, não para tomada de decisão automatizada direta. Eles notam limitações quanto ao escopo geográfico (Europa Central) e ao uso de rótulos compostos de dificuldade financeira em vez de pedidos formais de falência legal, alertando para cautela na implementação sem validação adicional e análise de justiça.