Resumo Técnico: Análise Contrafactual via Grandes Modelos de Linguagem

Declaração do Problema

A análise contrafactual busca prever resultados sob cenários hipotéticos para informar a tomada de decisão, uma tarefa particularmente desafiadora no empréstimo online, onde o retorno sobre o investimento (ROI) sob taxas de juros alternativas é inobservável. Embora métodos tradicionais, como o pareamento (matching), ensaios controlados aleatórios e análise de sobrevivência existam, eles frequentemente dependem de pressupostos estruturais específicos ou exigem subamostragem. Além disso, os modelos padrão de aprendizado de máquina (ML), embora otimizados para precisão preditiva em dados observados, podem falhar em capturar os mecanismos causais necessários para gerar contrafactuais válidos, especialmente quando o comportamento do tomador de empréstimo muda em resposta a mudanças não observadas nas taxas de juros. Este artigo investiga se os Grandes Modelos de Linguagem (LLMs), especificamente o GPT-3.5, podem servir como ferramentas eficazes para a construção de resultados de empréstimos contrafactuais, aproveitando seu vasto conhecimento pré-treinado e capacidades de raciocínio.

Metodologia

O estudo utiliza um conjunto de dados de 894.013 empréstimos pessoais não garantidos da LendingClub (2013–2020). A metodologia é dividida em duas fases primárias: validação de desempenho preditivo e construção contrafactual.

1. Validação do Desempenho Preditivo

Para estabelecer a adequação do LLM para a geração de contrafactuais, o autor primeiro avaliou sua capacidade de prever resultados de empréstimos reais sob taxas de juros observadas.

• Linha de Base (Baseline): O desempenho do LLM foi comparado com algoritmos avançados de ML, especificamente XGBoost (para classificação de status de empréstimo) e regressão de gradiente impulsionado (para previsão de ROI).
• Engenharia de Prompt: O estudo avaliou sistematicamente várias estratégias de prompting para elicitar melhor desempenho:
  • Role-Playing (Atuação de Papel): Mudando a persona do LLM de um "tomador de empréstimo" (que exibiu viés de desejabilidade social) para um "especialista em risco de crédito".
  • Conjuntos de Informação: Incorporando detalhes do empréstimo, perfis de tomadores, estatísticas de nível de plataforma e, crucialmente, as previsões de algoritmos de ML no prompt.
  • Técnicas de Raciocínio: Implementando técnicas de "Cadeia de Pensamento" (Chain-of-Thought - CoT) e "Árvore de Pensamento" (Tree-of-Thought - ToT). A abordagem ToT simulou um painel de quatro especialistas refinando iterativamente suas previsões e processos de raciocínio.
• Teste de Abrangência (Encompassing Test): Para determinar se o LLM apenas regurgitava previsões de ML ou fornecia valor incremental, o autor empregou um teste de abrangência de previsão (Chong e Hendry, 1986). Esta regressão testou se a previsão do LLM continha informações não capturadas pelo modelo de ML.

2. Construção Contrafactual

Para a tarefa contrafactual, o autor gerou resultados hipotéticos de ROI sob taxas de juros alternativas (propostas por Gopal et al., 2024).

• Design do Prompt: O LLM foi instruído a atuar como um painel de quatro especialistas em risco de crédito. O prompt incluiu detalhes do empréstimo, perfis de tomadores, estatísticas da plataforma, o resultado observado real sob a taxa original (servindo como uma âncora) e a previsão contrafactual de um modelo de cura mista (mixture cure model — uma abordagem de ML existente).
• Processo de Raciocínio: O LLM foi instruído a engajar-se em uma discussão de ToT, criticando e refinando a previsão de ML com base em seu conhecimento pré-treinado e no contexto específico do empréstimo, por fim emitindo um consenso de status e duração em formato JSON.
• Validação: Como os contrafactuais são inobserváveis, a validade foi avaliada através da coerência lógica. O autor verificou se as previsões do LLM aderiam a regras econômicas intuitivas: (1) empréstimos que sofreram perda (charge-off) devem permanecer em perda se as taxas aumentarem, e (2) empréstimos que foram totalmente pagos devem permanecer pagos se as taxas diminuírem.

Principais Resultados

Desempenho Preditivo

• Baseline vs. Prompts Engenheirados: Um prompt simples de papel de "tomador de empréstimo" gerou resultados ruins (R-quadrado de 1,97%, F1 score de 4,7%). No entanto, a engenharia de prompt melhorou significativamente o desempenho.
• Configuração Ótima: O prompt "Árvore de Pensamento" com quatro especialistas, incorporando previsões de ML e estatísticas da plataforma, alcançou um R-quadrado de 2,84% para a previsão de ROI. Isso se aproxima de forma próxima aos 3,48% alcançados pela regressão de gradiente impulsionado.
• Valor Incremental: O teste de abrangência revelou um coeficiente estatisticamente significativo (5,19% ao nível de 1%) para a previsão do LLM quando combinada com a previsão de ML. Isso indica que o LLM identifica informações significativas além do que o algoritmo de ML captura, em vez de simplesmente repetir a saída do ML.
• Correção de Viés: O estudo observou que as previsões brutas do LLM sofriam de viés (provavelmente devido a vieses do corpus de pré-treinamento), que foi corrigido via ajuste de regressão linear antes do cálculo do R-quadrado.

Construção Contrafactual

• Divergência do ML: As previsões contrafactuais do LLM divergiram do modelo de cura mista em 46,2% dos casos em relação ao status e duração. O LLM frequentemente revisou a previsão de ML, fornecendo razões justificáveis baseadas na utilização de crédito do tomador e médias históricas.
• Coerência Lógica: O LLM demonstrou forte adesão à lógica causal. 99,6% das previsões seguiram a regra de que empréstimos totalmente pagos permanecem pagos se as taxas diminuírem, e 85,3% seguiram a regra de que empréstimos em perda permanecem em perda se as taxas aumentarem.
• Diferenças de Resultado: Sob taxas de juros alternativas, o LLM previu uma taxa de perda de 9,65%, que foi mais próxima da taxa histórica da LendingClub (12,34%) do que a previsão do modelo de cura mista de 6,22%. Isso sugere que o LLM pode corrigir o potencial otimismo excessivo do modelo de ML.

Significância e Alegações

O artigo afirma que os LLMs representam uma abordagem nova e capaz para a análise contrafactual, particularmente em domínios complexos e ricos em informações, como o empréstimo online. O autor destaca duas contribuições primárias:

1. Engenharia de Prompt como Alavanca Crítica: O estudo demonstra que a engenharia de prompt (especificamente role-playing, CoT e ToT) é tão crucial quanto o ajuste fino (fine-tuning) do modelo. Essas técnicas evocam efetivamente o raciocínio lógico e a compreensão causal dos LLMs, permitindo que eles aproximem o desempenho de algoritmos de ML especializados.
2. Colaboração Humano-Máquina: Os resultados sugerem que os LLMs exibem comportamentos cognitivos humanos, como o viés de desejabilidade social (ao atuar como tomadores de empréstimo) e a capacidade de avaliar criticamente e refinar previsões de máquinas (ao atuar como especialistas). Isso apoia a literatura sobre colaboração humano-máquina, onde os LLMs podem servir como substitutos para o raciocínio humano em tarefas complexas.

O autor conclui modestamente que, embora os LLMs possam ainda não superar os melhores modelos preditivos em termos de precisão bruta, sua capacidade de gerar contrafactuais logicamente coerentes e causalmente fundamentados os torna uma ferramenta adequada para contextos de tomada de decisão. Ele sugere ainda que os LLMs poderiam ser usados para simular respostas humanas em experimentos de campo preliminares, oferecendo um método de baixo custo para o design de experimentos. O artigo não reivindica que os LLMs sejam uma solução universal para todos os problemas contrafactuais, mas os posiciona como uma alternativa promissora e flexível aos métodos econométricos e de análise de sobrevivência tradicionais em contextos específicos.