Synthetic data for ratemaking: imputation-based methods vs adversarial networks and autoencoders

Este artigo compara métodos de imputação baseados em MICE com redes adversariais e autoencoders para a geração de dados sintéticos em tarifação atuarial, demonstrando que o MICE oferece alta fidelidade estatística e menor complexidade de implementação.

O essencial

Imagine que você é um segurador de carros. Para cobrar o preço certo do seguro (a "tarifa"), você precisa analisar milhares de dados: idade do motorista, modelo do carro, histórico de acidentes, etc. O problema é que essas informações são super secretas. As seguradoras não podem simplesmente publicar seus bancos de dados na internet por questões de privacidade e segurança.

Sem dados reais, os pesquisadores e novos seguradores ficam no escuro, tentando inventar modelos sem ter o que testar.

Aqui entra a ideia do Dados Sintéticos: criar uma "versão fake" dos dados que parece real, mas não revela quem é quem. É como criar um "gêmeo digital" da sua base de dados.

Este artigo compara duas formas principais de criar esses gêmeos digitais para o setor de seguros:

1. Os "Artistas de Alta Tecnologia" (Redes Adversariais e Autoencoders)

Imagine que você quer ensinar um robô a pintar um quadro que pareça feito por um mestre.

• GANs (Redes Adversariais): É como ter dois artistas em uma sala. Um é o Falsificador (cria os dados fake) e o outro é o Detetive (tenta descobrir o que é fake). Eles brigam o tempo todo. O Falsificador melhora para enganar o Detetive, e o Detetive melhora para não ser enganado. No final, o Falsificador cria dados tão bons que nem o Detetive consegue distinguir.
• Autoencoders: É como um artista que vê uma foto, a desenha em um papel pequeno (comprimindo a informação) e depois tenta reconstruir a foto original a partir daquele desenho. Se ele conseguir reconstruir perfeitamente, ele aprendeu a essência da imagem.

O problema: Esses métodos são como ferramentas de precisão de cirurgião. São poderosos, mas exigem um cirurgião experiente (um especialista em programação) para ajustar os parâmetros. Se você não souber mexer, o resultado pode sair torto. Além disso, eles podem demorar muito para "treinar".

2. Os "Mestres do Jogo de Tabuleiro" (MICE - Imputação por Equações Correntes)

Agora, imagine que você tem um quebra-cabeça onde algumas peças estão faltando.

• MICE: Em vez de tentar criar o quebra-cabeça do zero, você olha para as peças que já estão lá. Você pergunta: "Se eu tenho essa peça de céu azul aqui, qual é a chance de a peça ao lado ser de uma árvore?" Você usa a lógica e a estatística para preencher as peças faltantes baseando-se no padrão do resto do quadro.
• A inovação do artigo: Os autores pegaram essa técnica (que já era usada para consertar dados faltantes) e a usaram para criar dados novos. Eles pegam um pedaço dos dados reais, "apagam" algumas peças (como se estivessem faltando) e usam o MICE para preencher essas lacunas com novas peças que se encaixam perfeitamente no padrão.

A vantagem: É como usar um kit de LEGO bem organizado. Você não precisa ser um gênio da física para montar; o kit já vem com as instruções claras. É fácil de usar, rápido e funciona bem "direto da caixa".

O Que Eles Descobriram? (A Batalha dos Métodos)

Os autores testaram 10 métodos diferentes usando dados reais de seguros franceses (como se fosse um campo de provas).

1. Qualidade dos Dados:

   • Os métodos baseados em MICE (os "LEGOs") foram os campeões. Eles criaram dados que mantiveram muito bem as relações entre as variáveis (ex: carros mais velhos tendem a ter mais acidentes) e foram muito fiéis à realidade.
   • Os métodos de IA avançada (GANs e Autoencoders) tiveram dificuldades. Às vezes, eles criavam dados que pareciam bonitos, mas quebravam as regras lógicas dos seguros (como criar um motorista de 10 anos dirigindo um caminhão).

2. Facilidade de Uso:

   • MICE: Ganhou de longe. É fácil de instalar e usar para um atuário (o especialista em seguros) comum.
   • IA Avançada: Exige muito conhecimento técnico, horas de ajuste e configuração complexa.

3. O Grande Segredo (Aumentar os Dados):

   • Uma pergunta comum é: "Se eu misturar dados reais com dados sintéticos, meu modelo fica melhor?"
   • A resposta foi NÃO. Misturar os dois não ajudou a prever acidentes com mais precisão. Na verdade, quanto mais dados sintéticos você adicionava, mais o modelo se afastava da verdade. O melhor é usar os dados reais sozinhos ou usar os dados sintéticos apenas para testar novas ideias, mas não para treinar o modelo final.

Conclusão Simples

O artigo diz: "Não precisa complicar!"

Para criar dados sintéticos de seguros, você não precisa necessariamente das tecnologias de IA mais caras e complexas (como GANs). Um método estatístico mais antigo e simples, chamado MICE, funciona melhor, é mais fácil de usar e cria dados mais fiéis à realidade para a maioria dos casos.

É como se dissessem: "Para consertar o telhado da sua casa, às vezes um martelo e um prego (MICE) funcionam melhor e são mais fáceis de usar do que um robô de construção de última geração (GANs), a menos que você seja um especialista em robótica."

Resumo em uma frase: Para gerar dados de seguros que pareçam reais e sejam úteis, métodos estatísticos simples e robustos (MICE) superaram as redes neurais complexas em facilidade de uso e qualidade dos resultados.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Dados Sintéticos para Tarifação: Métodos Baseados em Imputação vs. Redes Adversariais e Autoencoders

1. Problema e Motivação

A tarifação atuarial e a modelagem de riscos dependem criticamente de dados de alta qualidade. No entanto, o acesso a esses dados é frequentemente limitado devido a:

• Preocupações com privacidade e segurança: As seguradoras raramente compartilham dados reais publicamente.
• Custos e disponibilidade: Coletar novos dados reais pode ser caro ou impossível, especialmente ao entrar em novos mercados ou lançar produtos novos.
• Necessidade de pesquisa: Pesquisadores precisam de dados realistas para testar novas metodologias.

A solução proposta é a geração de dados sintéticos. O objetivo é criar conjuntos de dados que preservem as propriedades estatísticas (distribuições marginais e relações multivariadas) dos dados reais sem expor informações sensíveis. O artigo foca especificamente em dados tabulares (variáveis numéricas e categóricas) comuns na tarifação de seguros.

2. Metodologia e Abordagens Comparadas

Os autores realizaram um estudo comparativo utilizando o conjunto de dados público freMTPL2freq (seguro de responsabilidade civil de terceiros na França), que contém mais de 678.000 observações. O estudo avaliou 10 abordagens de geração de dados, divididas em três categorias principais:

• Métodos Baseados em GANs (Redes Adversariais Generativas):

  • CTGAN: GAN Condicional Tabular (padrão da indústria para dados tabulares).
  • CTGAN com Autoencoders (AEs): Uso de AEs para pré-processar variáveis categóricas de alta cardinalidade antes de alimentar o CTGAN.
  • WGAN-GP (Côté et al.): Uma variante com penalidade de gradiente.
  • Tabulator (Neves et al.): Um framework baseado em GAINs (Redes Adversariais de Imputação Generativa).

• Métodos Baseados em Autoencoders Variacionais (VAEs):

  • VAE (Jamotton e Hainaut): Modelo que utiliza transformações de quantil e funções de perda mistas para lidar com variáveis contínuas e categóricas.

• Métodos Baseados em Imputação (MICE):

  • O foco central do artigo é a Imputação Múltipla por Equações Correlacionadas (MICE), tratada como um problema de dados faltantes.
  • MICE Parcialmente Sintético: 25% dos dados originais são mantidos, 75% são "apagados" (tornados faltantes) e imputados.
  • MICE Totalmente Sintético: 100% dos dados são gerados através de múltiplas iterações de apagamento e imputação.
  • MICE Tabulator: Adaptação do framework Tabulator usando MICE com Florestas Aleatórias (Random Forests - RF) como motor de imputação.
  • MICE Volker-Vink: Abordagem de imputação coluna a coluna.
  • Nota: Em todos os métodos MICE, utilizou-se Florestas Aleatórias (RF) como modelo de imputação devido à sua capacidade de capturar não-linearidades e lidar com dados heterogêneos sem pré-processamento complexo.

Configuração do Experimento:
Para avaliar a fidelidade, os autores simularam contagens de sinistros com "verdade absoluta" conhecida (usando fórmulas lineares e fórmulas com interações) sobre os dados originais. Eles avaliaram:

1. Fidelidade dos Dados: Preservação de distribuições marginais e estruturas de dependência (correlações).
2. Utilidade do Modelo: Treinamento de Modelos Lineares Generalizados (GLMs) nos dados sintéticos e comparação dos coeficientes estimados e da precisão preditiva (desvio de Poisson, RMSE) com os GLMs treinados nos dados reais.
3. Aumento de Dados: Teste do impacto de mesclar dados reais com sintéticos no desempenho do GLM.
4. Facilidade de Uso: Avaliação subjetiva da implementação e complexidade operacional.

3. Contribuições Principais

1. Benchmarking de MICE na Atuarial: O artigo introduz e valida métodos baseados em MICE (especificamente com RFs) como uma alternativa viável e competitiva aos modelos generativos profundos (GANs/VAEs) para dados de tarifação.
2. Análise de Híbridos: Investigou-se a combinação de CTGAN com Autoencoders e MICE, mostrando que, embora melhorem variáveis categóricas, podem degradar o desempenho geral em outras métricas.
3. Avaliação de Aumento de Dados: O estudo fornece evidências empíricas sobre se a adição de dados sintéticos melhora a generalização de modelos GLMs treinados em dados reais.
4. Foco na Prática: Destaca a importância da "facilidade de uso" (out-of-the-box), um critério frequentemente negligenciado em estudos puramente técnicos.

4. Resultados Chave

• Desempenho Geral (Fidelidade e Utilidade):

  • Os métodos MICE (Parcial e Totalmente Sintético) demonstraram o melhor desempenho global. Eles preservaram melhor as distribuições marginais, as correlações e, crucialmente, geraram coeficientes de GLM mais próximos dos verdadeiros em comparação com GANs e VAEs.
  • Os métodos baseados em CTGAN e WGAN tiveram desempenho inferior, especialmente na preservação de distribuições numéricas e na estabilidade dos coeficientes do GLM.
  • O uso de Autoencoders para pré-processar variáveis categóricas no CTGAN melhorou a geração dessas colunas específicas, mas não compensou as perdas em outras métricas.

• Seleção de Variáveis:

  • Modelos treinados com dados MICE tiveram uma taxa de seleção de variáveis corretas superior e incluíram menos variáveis incorretas (ruído) em comparação com os outros métodos.

• Aumento de Dados (Data Augmentation):

  • Conclusão Crítica: A adição genérica de dados sintéticos aos dados reais não melhorou o desempenho preditivo dos GLMs. Pelo contrário, à medida que a proporção de dados sintéticos aumentava, a precisão dos coeficientes estimados tendia a piorar (aumentando a distância em relação aos coeficientes verdadeiros).
  • Houve apenas um caso isolado onde o aumento ajudou, mas não é uma regra geral.

• Facilidade de Uso:

  • Os métodos MICE foram classificados como os mais fáceis de usar, devido à implementação robusta no pacote R mice, que requer pouco pré-processamento e configuração.
  • Os métodos baseados em Deep Learning (GANs/VAEs) exigiram mais tempo de configuração, pré-processamento de dados (ex: codificação, normalização) e ajuste de hiperparâmetros.

5. Significado e Conclusão

O artigo desafia a suposição de que modelos generativos profundos (como GANs e VAEs) são sempre superiores para a geração de dados tabulares atuariais.

• Viabilidade Prática: Os autores concluem que a abordagem baseada em MICE com Florestas Aleatórias é uma solução "pronta para uso" (out-of-the-box) superior para a maioria das aplicações de tarifação, oferecendo alta fidelidade estatística com complexidade de implementação significativamente menor.
• Cuidado com o Aumento de Dados: O estudo alerta os atuários para que o uso indiscriminado de dados sintéticos para aumentar conjuntos de dados reais pode não trazer benefícios e, em alguns casos, degradar a qualidade do modelo.
• Futuro: O trabalho sugere que futuras pesquisas devem focar na integração de restrições de negócio (ex: limites de idade) nos frameworks de imputação e na avaliação de riscos de reidentificação (disclosure risk) específicos para cada gerador.

Em resumo, para a tarifação de seguros baseada em dados tabulares, métodos estatísticos clássicos de imputação (MICE) provaram ser mais robustos, estáveis e práticos do que as abordagens modernas de aprendizado profundo neste contexto específico.