Resumo Técnico: FinRAG-12B

Declaração do Problema

A adoção de Modelos de Linguagem de Grande Escala (LLMs) no setor bancário é impedida por requisitos rigorosos de precisão factual, conformidade regulatória e fundamentação verificável. Modelos prontos para uso frequentemente sofrem de alucinações, comportamento excessivamente complacente (sycofância) e falta de alinhamento com dados dinâmicos e específicos do domínio, como taxas de juros e políticas institucionais. Em sistemas de Geração Aumentada por Recuperação (RAG), os modelos podem ignorar o contexto recuperado, confiar em passagens irrelevantes ou fabricar respostas quando a informação está indisponível. Isso representa riscos regulatórios e financeiros significativos. Além disso, soluções existentes frequentemente falham em equilibrar o compromisso entre responder a consultas e recusar-se a responder quando as evidências são insuficientes, levando a alucinações inseguras ou recusa excessiva (excesso de cautela).

Metodologia

Os autores propõem o FinRAG-12B, um LLM de 12 bilhões de parâmetros otimizado para RAG bancário, construído sobre o modelo base Gemma 3 12B-IT. A abordagem centra-se em um framework de treinamento unificado e eficiente em dados que otimiza conjuntamente a qualidade da resposta, a fundamentação de citações e a recusa calibrada.

1. Pipeline de Curadoria de Dados

O corpus de treinamento consiste em 98.648 amostras (143M tokens), priorizando qualidade em vez de escala. O pipeline envolve:

• RAG-v1 (Código Aberto): 43.581 amostras filtradas via JudgeLM para garantir supervisão de alta qualidade.
• SEC QA Sintética: 16.773 amostras geradas a partir de registros da SEC (10-K, 10-Q) usando um pipeline de cinco etapas. Isso inclui segmentar documentos, gerar perguntas em quatro níveis de dificuldade, reescrever para corresponder às distribuições reais de consultas de usuários (estilo, comprimento, formalidade), impor saídas no estilo de citação e injetar passagens distratoras para simular ruído de recuperação.
• Subconjunto Financeiro do CommonCrawl: 20.499 amostras derivadas de consultas reais de usuários (sem PII) e passagens relevantes, filtradas via um classificador de floresta aleatória para garantir conformidade com privacidade.
• Dados de Calibração de Recusa: 17.795 exemplos proprietários (22% da mistura) onde o contexto recuperado é topicamente relevante, mas insuficiente. A saída alvo é um "Não sei" explícito, treinando o modelo a abster-se em vez de alucinar.

2. Estratégia de Treinamento

O modelo emprega uma abordagem de aprendizado curricular em duas etapas:

• Etapa 1 (Adaptação ao Domínio): Treinado em 60.354 amostras (RAG-v1 + SEC Sintética) com uma taxa de aprendizado conservadora ($1 \times 10^{-6}$). Isso estabelece capacidades fundamentais para geração fundamentada e alinhamento de citações usando dados reproduzíveis.
• Etapa 2 (Especialização de Tarefa): Treinamento contínuo em 38.294 amostras (CommonCrawl + Bancário Proprietário) com uma taxa de aprendizado mais alta ($5 \times 10^{-6}$). Esta etapa introduz distribuições de consultas do mundo real e calibra o comportamento de recusa.
• Mitigação de Viés Posicional: Para contrabalançar a tendência dos modelos de atender desproporcionalmente ao início ou ao fim do contexto, os autores randomizam a colocação de passagens relevantes entre distratores usando uma mistura de distribuições harmônicas de decaimento trapezoidal direito discretas.
• Calibração de Recusa: Uma varredura sistemática determinou que uma razão de 22% de exemplos não respondíveis produz o compromisso ótimo, minimizando respostas sem suporte enquanto evita recusa excessiva em consultas respondíveis.

3. Configuração e Serviço do Modelo

• Ajuste Fino: Utiliza LoRA (Adaptação de Baixo Rango) em todas as camadas de atenção e MLP ($r=64, \alpha=256$).
• Quantização: O modelo é quantizado para W4A16 (pesos de 4 bits, ativações de 16 bits) usando SmoothQuant, reduzindo a pegada de 24GB para 8,4GB para implantação eficiente em GPU única com degradação mínima de desempenho.

Contribuições Principais

1. Pipeline Eficiente em Dados: Um pipeline multi-etapa combinando filtragem via LLM-como-Juiz, geração sintética condicionada a estilo e extração de dados reais compatível com privacidade para criar um conjunto de dados de treinamento de alta qualidade e fundamentado com apenas 143M tokens.
2. Mecanismo de Recusa Calibrada: Uma estratégia baseada em amostragem negativa controlada (22% de exemplos não respondíveis) que reduz significativamente as alucinações enquanto previne a recusa excessiva comum em modelos de propósito geral.
3. Framework de Produção End-to-End: Uma metodologia validada abrangendo curadoria de dados, aprendizado curricular e serviço quantizado, implantada em mais de 40 instituições financeiras.

Resultados

A avaliação foi conduzida em um conjunto de testes bancário proprietário (258 exemplos) e no benchmark público FinanceBench.

• Qualidade da Resposta e Fundamentação: O FinRAG-12B alcançou uma pontuação JudgeLM de 6,21, superando o GPT-4.1 (5,72) e o modelo base Gemma 3 (5,70). Também melhorou a qualidade das citações para 73,1 (vs. 70,8 para o GPT-4.1), demonstrando fundamentação de citação mais seletiva e relevante.
• Calibração de Recusa: O modelo alcançou uma taxa de abstenção de 12,0% em consultas não respondíveis. Isso representa uma melhoria substancial em relação à taxa insegura de 4,3% do modelo base (sub-recusa) e à taxa de 20,2% do GPT-4.1 (sobre-recusa).
• Generalização: No FinanceBench, o FinRAG-12B alcançou a maior pontuação F1 (0,284) com uma taxa de citação de 97,3%, superando tanto o modelo base quanto o GPT-4.1.
• Estudos de Ablação: O treinamento conjunto em todas as fontes de dados simultaneamente colapsou o desempenho (JudgeLM 3,28, 46,5% de sobre-recusa). O currículo em duas etapas foi crítico para resolver o conflito entre aprender convenções de citação e calibrar a recusa.
• Latência e Custo: O FinRAG-12B opera 3–5x mais rápido que o GPT-4.1 (0,57s de tempo total até a conclusão vs. 1,83s) e incorre em 20–50x menores custos por consulta quando implantado em uma única GPU RTX 6000 Ada.
• Impacto na Produção: Em uma implantação ao vivo em uma grande cooperativa de crédito dos EUA, o FinRAG-12B melhorou a taxa de resolução de consultas em 7,1 pontos percentuais (de 77,4% para 84,5%, $p < 0,001$). A satisfação do usuário aumentou de 59,5% para 62,9%, impulsionada principalmente pela maior taxa de resolução em vez de melhorias marginais na qualidade por resposta.

Significado

O artigo afirma que o FinRAG-12B demonstra que qualidade de dados, fundamentação e metodologia de treinamento são mais críticos do que a escala do modelo para construir LLMs confiáveis em domínios regulamentados. Ao integrar um pipeline eficiente em dados com recusa calibrada, o sistema alcança alta precisão e segurança sem os encargos de latência e custo de grandes APIs comerciais. O trabalho destaca que em sistemas RAG de produção, aumentar a taxa de resolução é o principal motor da satisfação do usuário, e que um framework unificado pode navegar com sucesso nos compromissos entre responder, citar e abster-se em ambientes financeiros de alto risco.