💬 NLP

Understanding Structured Financial Data with LLMs: A Case Study on Fraud Detection

O artigo apresenta o FinFRE-RAG, uma abordagem em duas etapas que combina redução de características orientada por importância e aprendizado com contexto aumentado por recuperação para permitir que Grandes Modelos de Linguagem (LLMs) detectem fraudes financeiras com desempenho competitivo e explicações interpretáveis, superando as limitações da aplicação direta desses modelos em dados tabulares.

Autores originais: Xuwei Tan, Yao Ma, Xueru Zhang

Publicado 2026-04-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xuwei Tan, Yao Ma, Xueru Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando encontrar um ladrão em uma cidade gigante cheia de milhões de pessoas. O problema é que cada pessoa tem uma ficha com milhares de detalhes: altura, peso, cor do cabelo, número de sapatos, quanto gastou no café, qual o nome do seu cachorro, etc.

O Problema: O Detetive Cansado (Os Modelos Antigos)

Os métodos tradicionais de detectar fraude funcionam como um detetive experiente, mas muito rígido. Ele precisa que alguém (um engenheiro de dados) organize todas essas milhares de fichas, decida quais detalhes são importantes e crie regras complexas.

O problema: É um trabalho enorme e chato. Se o ladrão mudar de tática (muda o penteado ou o jeito de andar), o detetive precisa ser reensinado do zero. Além disso, quando ele aponta um suspeito, ele só diz "É ele!", sem explicar o porquê de forma clara.

A Nova Ideia: O Detetive com IA (Os LLMs)

Agora, imagine que você contrata um Super Detetive com Inteligência Artificial (um LLM). Esse detetive é genial, lê milhões de livros e consegue explicar suas decisões em linguagem humana: "Eu suspeito dele porque ele comprou um bilhete de avião para o Japão às 3 da manhã, mas sua conta bancária diz que ele está em casa."

Mas há um truque: Se você tentar dar a esse Super Detetive a ficha completa com milhares de detalhes de uma só vez, ele fica confuso. Ele não foi treinado para ler tabelas de números frios; ele foi treinado para ler histórias e conversas. Ele se perde no meio de tantos dados e começa a chutar.

A Solução: FinFRE-RAG (O "Detetive com Óculos e Arquivo")

Os autores do artigo criaram um método chamado FinFRE-RAG para ajudar esse Super Detetive a funcionar bem com dados financeiros. Eles usam duas etapas mágicas:

1. A "Peneira de Ouro" (Redução de Características)

Em vez de jogar a ficha inteira de 1.000 linhas no detetive, eles usam uma "peneira" inteligente.

A Analogia: Imagine que você tem uma mala cheia de roupas para uma viagem. Você não leva tudo. Você pega apenas o que é essencial: o casaco, o tênis e a camisa favorita.
Na prática: O sistema usa um modelo simples para descobrir quais são os 10 ou 20 detalhes mais importantes para identificar um ladrão (ex: valor da transação, localização, tipo de cartão). O resto é descartado. Agora, a ficha é curta e direta.

2. O "Arquivo de Casos Semelhantes" (RAG - Geração Aumentada por Recuperação)

Agora que o detetive tem uma ficha curta, ele ainda precisa de contexto.

A Analogia: Antes de julgar o suspeito atual, o detetive vai ao arquivo e busca 5 casos passados que são muito parecidos com o atual.
- Caso A: "Pessoa comprou algo estranho e foi fraude."
- Caso B: "Pessoa comprou algo estranho e foi legítimo."
O Pulo do Gato: O sistema entrega essa ficha curta do suspeito junto com esses 5 casos de exemplo para o detetive ler.
O Resultado: O detetive diz: "Olha, esse suspeito é muito parecido com o Caso A (que era fraude) e tem detalhes que o Caso B não tem. Portanto, eu acho que é fraude."

Por que isso é incrível?

Explicação Humana: Ao contrário dos sistemas antigos que dão apenas um "sim/não", o Super Detetive agora escreve um relatório: "Suspeito porque o valor é alto e a localização não bate com o histórico, assim como no Caso A." Isso ajuda humanos a entenderem e confiarem na decisão.
Aprendizado sem Treinamento: O detetive não precisa ser "reprogramado" ou reensinado. Ele aprende na hora, olhando para os exemplos que você lhe deu. É como ter um estagiário que aprende na prática, vendo casos reais.
Melhor Precisão: O artigo mostrou que, com essa técnica, os modelos de IA deixaram de ser "piores que um chute aleatório" e passaram a ser tão bons quanto os melhores sistemas tradicionais, mas com a vantagem de saberem explicar o que estão pensando.

Resumo da Ópera

O FinFRE-RAG é como dar a um gênio da linguagem (a IA) uma lista de suspeitos curada e um álbum de casos semelhantes para ele comparar. Isso transforma dados chatos de planilha em uma história que a IA consegue entender, analisar e explicar com clareza, tornando a detecção de fraudes mais rápida, inteligente e transparente.

1. O Problema

A detecção de fraude em transações financeiras tradicionais depende fortemente de modelos tabulares (como XGBoost ou Random Forest) que exigem engenharia de features intensiva e oferecem pouca interpretabilidade. Embora os Grandes Modelos de Linguagem (LLMs) tenham o potencial de fornecer explicações legíveis e facilitar a análise de features, sua aplicação direta a dados tabulares de fraude enfrenta barreiras significativas:

Desalinhamento de Entrada Tabular: Os dados financeiros são predominantemente numéricos e categóricos, com centenas ou milhares de features. LLMs, pré-treinados em linguagem natural, têm dificuldade em interpretar o significado semântico de estruturas tabulares brutas e lidar com valores numéricos com precisão. Inserir todas as features no prompt excede os limites de contexto e introduz ruído.
Ambiguidade e Raridade da Fraude: A definição de fraude varia entre instituições e regiões. Além disso, os conjuntos de dados são extremamente desbalanceados (menos de 1% de transações fraudulentas). Sem orientação específica, os LLMs tendem a tratar entradas tabulares como números arbitrários, resultando em previsões próximas ao acaso.
Falta de Contexto: LLMs carecem de conhecimento de domínio específico sobre quais padrões de features indicam risco, levando a saídas imprevisíveis ou sem sentido quando aplicados diretamente.

2. Metodologia: FinFRE-RAG

Os autores propõem o FinFRE-RAG (Financial Feature-Reduced in-context learning with Retrieval-Augmented Generation), uma abordagem de duas etapas projetada para adaptar LLMs à detecção de fraude estruturada sem necessidade de fine-tuning (treinamento adicional de parâmetros).

Etapa 1: Redução de Features Offline

Para lidar com a alta dimensionalidade e o ruído:

Um modelo de Machine Learning tradicional (Random Forest) é treinado no conjunto de dados histórico para calcular a importância das features.
Seleciona-se um subconjunto compacto das top- $k$ features mais impactantes.
As features numéricas são normalizadas globalmente e pré-computadas em representações vetoriais para eficiência na recuperação.

Etapa 2: Aprendizado em Contexto (ICL) com RAG Online

Durante a inferência, o sistema processa cada transação de consulta ( $x_q$ ) através de um pipeline de raciocínio baseado em casos:

Recuperação de Instâncias (Retrieval):
- Filtragem Categórica: Aplica restrições de igualdade nas features categóricas mais importantes para encontrar candidatos estruturalmente similares.
- Busca de Similaridade Numérica: Dentro do pool de candidatos, realiza uma busca por vizinhos baseada na similaridade de cosseno no espaço das features numéricas normalizadas.
- O resultado é um conjunto de $n$ transações históricas similares (exemplos few-shot).
Construção do Prompt e Raciocínio:
- As transações recuperadas e a transação atual são convertidas em sentenças descritivas em linguagem natural (ex: "O cliente tem estado 5, saldo de crédito 10540...").
- O prompt inclui instruções de tarefa, exemplos few-shot com rótulos reais ("É uma fraude" / "Não é uma fraude") e a consulta atual.
- O LLM é solicitado a gerar uma pontuação de risco (1 a 5) e uma explicação baseada na comparação com os exemplos recuperados, em vez de apenas classificar binariamente.

3. Principais Contribuições

Framework FinFRE-RAG: Uma estrutura de duas etapas que adapta LLMs para detecção de fraude estruturada sem treinamento específico para a tarefa, utilizando redução de features guiada por importância e aprendizado em contexto aumentado por recuperação.
Avaliação Sistemática: Testes extensivos em quatro conjuntos de dados públicos de fraude (CCF, CCFRAUD, IEEE-CIS, PAYSIM) e três famílias de LLMs de pesos abertos (Qwen, Gemma, GPT-OSS).
Análises Principadas:
- Quantificação do número ideal de features e exemplos recuperados.
- Comparação entre saída granular (pontuação de risco) vs. binária.
- Análise do impacto da redução de features vs. seleção aleatória.
- Comparação entre o método proposto e LLMs com fine-tuning.

4. Resultados

Desempenho Superior ao Prompting Direto: LLMs aplicados diretamente aos dados tabulares performaram mal (MCC negativo ou próximo de zero, indistinguível de um chute aleatório). O FinFRE-RAG melhorou drasticamente os resultados, elevando o F1 e o MCC em todos os datasets.
- Exemplo: No dataset CCF, o F1 do Qwen3-14B saltou de 0.00 para 0.31, e o MCC de -0.01 para 0.36.
Competitividade com Métodos Tradicionais: Em vários cenários, o FinFRE-RAG com LLMs alcançou desempenho comparável ou até superior a modelos tabulares fortes como Random Forest e XGBoost, especialmente em datasets complexos como IEEE-CIS.
Importância da Redução de Features: A seleção guiada por importância superou consistentemente a seleção aleatória de features, confirmando que focar em features de alto sinal é crucial para o raciocínio do LLM.
Granularidade da Saída: A abordagem de pontuação de risco (1-5) superou a classificação binária direta, permitindo que o modelo lidasse melhor com casos ambíguos e extraísse mais sinal dos dados.
ICL vs. Fine-Tuning: O FinFRE-RAG (sem fine-tuning) mostrou-se mais robusto e equilibrado (precisão/recall) do que modelos com fine-tuning via LoRA. O fine-tuning tendeu a ter maior precisão, mas menor recall, possivelmente devido ao sobreajuste em classes majoritárias ou viés em dados tabulares limitados.

5. Significado e Conclusão

O estudo demonstra que os LLMs não precisam ser abandonados na detecção de fraude tabular, mas sim adaptados corretamente. O FinFRE-RAG preenche a lacuna entre a capacidade de raciocínio dos LLMs e a natureza estruturada dos dados financeiros.

Valor Prático: Oferece uma ferramenta assistiva que não apenas detecta fraudes, mas fornece racionais interpretáveis (explicações em linguagem natural) para analistas humanos, reduzindo a carga de trabalho e auxiliando na tomada de decisão transparente.
Viabilidade: A abordagem é viável para implantação on-premise (usando modelos de pesos abertos), atendendo a requisitos de privacidade e conformidade financeira.
Limitações e Futuro: O estudo reconhece limitações, como a dependência de datasets públicos (que podem não refletir a complexidade total do mundo real) e a necessidade de validação humana das explicações. No entanto, abre caminho para o uso de LLMs como ferramentas de suporte à decisão em sistemas de segurança financeira, onde a interpretabilidade é tão crucial quanto a precisão.