Resumo Técnico: MASCA - Sistema Multiagente Baseado em LLM para Avaliação de Crédito

Declaração do Problema

A avaliação de crédito continua sendo um domínio fortemente dependente de métodos tradicionais baseados em regras e modelos estatísticos, que enfrentam limitações significativas no cenário financeiro moderno. Essas abordagens tradicionais frequentemente:

• Baseiam-se em dados históricos, negligenciando fontes de dados alternativas que poderiam oferecer uma visão mais abrangente da solvência.
• Perpetuam vieses inerentes aos dados históricos, levando a práticas de empréstimo injustas.
• Operam como "caixas pretas", tornando os processos de tomada de decisão difíceis de serem interpretados por consumidores e reguladores.
• Têm dificuldade com a adaptabilidade, falhando em se ajustar rapidamente às mudanças nas condições econômicas ou na evolução dos comportamentos financeiros.

Embora os Grandes Modelos de Linguagem (LLMs) e agentes autônomos tenham mostrado promessa no trading e modelagem financeira, sua aplicação à avaliação de crédito tem sido subexplorada. Este artigo aborda a necessidade de um sistema que possa processar diversas fontes de dados, fornecer raciocínio interpretável e adaptar-se dinamicamente às condições de mercado, garantindo simultaneamente a equidade.

Metodologia: O Framework MASCA

Os autores apresentam o MASCA, um sistema multiagente impulsionado por LLM projetado para espelhar equipes de avaliação de crédito do mundo real. O sistema emprega uma arquitetura hierárquica em camadas baseada nos princípios de Modularidade, Explicabilidade, Especialização e Escalabilidade (MESS).

1. Camadas Arquiteturais

O framework decompõe a tarefa de avaliação de crédito em agentes especializados através de três camadas distintas:

• Camada de Ingestão de Dados e Contextualização:

  • Analista de Dados: Agrega, formata e valida dados estruturados e não estruturados.
  • Contextualizador: Constrói personas de candidatos integrando insights financeiros e comportamentais.
  • Engenheiro de Atributos (Feature Engineer): Deriva métricas chave como Dívida sobre Renda (DTI), Razão Dívida-Ativo (DAR), Utilização de Crédito e Estabilidade de Emprego.

• Camada de Avaliação Multidimensional:

  • Equipe de Risco: Opera em paralelo para avaliar fatores de risco específicos.
    • Modelador de Risco: Analisa o histórico de crédito e identifica sinais de alerta (red flags).
    • Analista de Renda e Estabilidade: Avalia a consistência da renda, histórico de emprego e realiza testes de estresse.
    • Analista de Dívida: Avalia o ônus da dívida e especificidades do empréstimo.
  • Modelador de Recompensa: Destaca a lucratividade, a solvência e fatores mitigadores.

• Camada de Otimização Estratégica e Orquestrador de Decisão:

  • Otimizador de Risco-Recompensa: Equilibra desvantagens e vantagens usando razões risco-recompensa, pontuação ponderada e simulações de cenários.
  • Orquestrador de Decisão: Sintetiza as entradas de todas as camadas para entregar a decisão final de aprovação ou rejeição.

2. Fundamentação Teórica: Teoria dos Jogos de Sinalização

O artigo modela as interações entre tomador de empréstimo e credor como um jogo de sinalização.

• Emissores (Tomadores de Empréstimo): Transmitem sinais (histórico de crédito, renda, detalhes do empréstimo).
• Receptores (Agentes): Atualizam crenças com base nos sinais recebidos.
• Mecanismo: A sinalização hierárquica permite que agentes de nível superior guiem os de nível inferior, promovendo trocas eficientes entre exploração e explotação (exploration-exploitation). O sistema é projetado para convergir para um Equilíbrio Bayesiano Perfeito, onde os agentes refinam suas crenças e equilibram as avaliações de risco-recompensa dinamicamente, espelhando como os credores inferem a solvência a partir dos sinais dos tomadores.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Framework Multiagente Baseado em LLM: Uma arquitetura inovadora para avaliação de crédito que visa melhorar a precisidade, equidade e adaptabilidade na tomada de decisão em comparação com abordagens de modelo único tradicionais.
2. Estrutura Hierárquica com Teoria dos Jogos de Sinalização: Uma integração teórica que captura interações estratégicas e fluxo de informações entre tomadores e credores, formalizando o processo de decisão como um jogo de sinalização.
3. Análise de Viés: Um exame detalhado de potenciais riscos sistêmicos na avaliação de crédito baseada em LLM, especificamente analisando vieses de gênero e etnia para identificar áreas de mitigação.

Resultados Experimentais

O sistema foi avaliado utilizando o German Credit Dataset (200 amostras de teste) e o dataset cra-lending (2.690 amostras de teste). Os experimentos utilizaram GPT-4o, o3-mini e Llama3-70B.

Métricas de Desempenho (German Credit Dataset)

O Sistema Multiagente (MAS) hierárquico superou significativamente as abordagens de linha de base:

• Melhor Configuração: Um MAS heterogêneo combinando GPT-4o e o3-mini alcançou:
  • Acurácia: 60% (uma melhoria de +15,5% sobre o Zero-Shot GPT-4o).
  • Recall: 83,33% (uma melhoria de +15,64%).
  • F1 Score: 73,33% (uma melhoria de +20,39%).
• Limitações de Agente Único: Agentes únicos realizando múltiplas tarefas (mesmo com o o3-mini) mostraram resultados subótimos (ex: 45,5% de acurácia para o agente único o3-mini vs. 53,5% para o MAS usando apenas o o3-mini).
• Problemas de Linha de Base: O Zero-shot GPT-4o exibiu alto recall, mas baixa precisão (33,33%), indicando um viés de excesso de aprovação. O prompting de Cadeia de Pensamento (Chain of Thought - CoT) teve desempenho ruim no geral (36% de acurácia), sugerindo que cadeias de raciocínio podem propagar erros em tarefas de crédito.

Estudos de Ablação

• Flat vs. Hierárquico: Uma arquitetura de nível único com múltiplos agentes apresentou um F1 score 9,23% inferior ao sistema hierárquico. Isso confirma que a divisão de trabalho, especialização e validação cruzada entre camadas são críticas para a correção e o refinamento de erros.
• Heterogeneidade: Combinar a capacidade de raciocínio do GPT-4o com a eficiência do o3-mini produziu as previsões mais robustas e equilibradas.

Achados da Análise de Viés

• Gênero: A acurácia caiu de 65,22% (masculino) para 58,26% (feminino) quando o gênero era alternado, com 14 de 115 amostras apresentando resultados diferentes devido exclusivamente ao gênero. Mesmo a remoção das características de gênero não eliminou totalmente o viés, sugerindo um viés indireto de características correlacionadas.
• Etnia: O desempenho variou entre os grupos. Candidatos asiáticos tiveram a menor acurácia (52,5%), ficando 7,5% abaixo do valor real (ground truth). Candidatos africanos/negros mostraram maior recall, mas menor precisão, implicando um viés de aprovação apesar do maior risco. Todos os grupos performaram abaixo do recall do ground truth (83,33%), indicando uma redução na capacidade de identificar candidatos solventes de forma generalizada.

Significância e Alegações

O artigo afirma que o MASCA demonstra a eficácia de sistemas multiagentes hierárquicos baseados em LLM em aplicações financeiras, particularmente na pontuação de crédito. Ao espelhar processos de tomada de decisão do mundo real, o framework oferece um caminho para:

• Maior Transparência: Fornecer explicações interpretáveis para decisões através do raciocínio de agentes especializados.
• Adaptabilidade: Criar sistemas que respondem dinamicamente às mudanças nas condições de mercado.
• Equidade: Identificar e abordar vieses sistêmicos, embora os autores observem que a mitigação de viés continua sendo um desafio contínuo que requer estratégias específicas.

Os autores posicionam este trabalho como um passo para ir além dos modelos tradicionais de "caixa preta" e sistemas estáticos baseados em regras, aproveitando as capacidades de raciocínio e processamento de dados dos LLMs dentro de um framework multiagente estruturado e baseado em teoria dos jogos.