Resumo Técnico: K-FinHallu

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado a automação financeira por meio da Geração Aumentada por Recuperação (RAG), as alucinações permanecem uma barreira crítica para a implantação em ambientes financeiros de alto risco. As avaliações existentes para detecção de alucinações sofrem de duas lacunas principais quando aplicadas a serviços financeiros do mundo real:

1. Limitação de Interação Única: A maioria das avaliações foca em tarefas de interação única, falhando em capturar as complexidades de diálogos de múltiplas interações, onde as alucinações surgem de falhas no rastreamento de contexto, erros de resolução de anáfora ou inconsistências lógicas com interações anteriores.
2. Lacunas Linguísticas e Regulatórias: Os conjuntos de dados existentes são predominantemente centrados no inglês e em instituições ocidentais, negligenciando as nuances únicas do domínio financeiro coreano. Isso inclui estruturas regulatórias específicas (por exemplo, o sistema de arrendamento Jeonse), morfologia aglutinante e terminologia técnica sino-coreana polissêmica que não pode ser abordada por meio de simples tradução.

Consequentemente, há uma falta de frameworks de avaliação rigorosos para detectar alucinações específicas do domínio em sistemas RAG financeiros coreanos de múltiplas interações, particularmente em relação à "abstenção justificada" (saber quando não responder).

Metodologia

Os autores apresentam o K-FinHallu, a primeira avaliação para detecção de alucinações em RAG financeiro coreano de múltiplas interações, construído a partir de documentos financeiros coreanos autênticos.

Construção do Conjunto de Dados

• Corpo de Origem: O conjunto de dados é baseado no conjunto de dados "Compreensão de Leitura de Máquina de Documentos Financeiros e Jurídicos Coreanos" da AI-Hub, filtrado para categorias financeiras. Para evitar vazamento de dados, o conjunto de teste é extraído do Serviço de Supervisão Financeira (FSS) e da Agência Coreana de Proteção ao Consumidor, enquanto o conjunto de treinamento utiliza instituições disjuntas.
• Geração de Diálogos Fiel: Um pipeline usando GPT-4o simula diálogos de múltiplas interações (4–8 interações) entre um usuário e um assistente. O assistente gera respostas estritamente fundamentadas em passagens de referência e textos de pista dos documentos de origem. O pipeline inclui interações de "reconfirmação" para testar o rastreamento de contexto.
• Simulação de Recuperação: Para isolar a detecção de alucinações de erros de recuperação, o sistema simula o RAG fornecendo contextos de recuperação controlados ($P_n$).
  • Cenários Respondíveis: $P_n$ contém a passagem de referência.
  • Cenários Não Respondíveis: $P_n$ consiste inteiramente em "negativos difíceis" (passagens semanticamente similares que não contêm a resposta).
• Injeção de Alucinações: Um pipeline automatizado injeta alucinações sutis em diálogos fiéis com base em uma taxonomia hierárquica proposta. As estratégias incluem edições mínimas (por exemplo, troca de termos financeiros, alteração de números/modificadores) para preservar a naturalidade enquanto introduzem erros críticos. Duas fontes de injeção (GPT-4o e Gemini-2.5-Flash) são usadas para mitigar artefatos específicos do modelo.
• Controle de Qualidade: Diálogos e alucinações injetadas passam por filtragem rigorosa via LLM como juiz e anotação humana, garantindo alta concordância (AC1 de Gwet > 0,70) em critérios como respondibilidade, plausibilidade e naturalidade.

Taxonomia de Alucinações

O artigo propõe uma taxonomia baseada na respondibilidade do contexto:

1. Cenários Respondíveis:
   • Contraditória: A resposta entra em conflito com o contexto ou o histórico do diálogo.
   • Não Verificável: A resposta inclui alegações externas não suportadas pelo contexto.
   • Irrelevância: A resposta está logicamente desconectada da intenção do usuário.
   • Recusa Falsa: O modelo se recusa a responder apesar de haver evidências suficientes.
2. Cenários Não Respondíveis:
   • Aceitação Falsa: O modelo fornece uma resposta apesar da falta de evidências.
   • Recusa Verdadeira: O modelo abste-se corretamente (o comportamento desejado).

Contribuições Principais

1. Avaliação K-FinHallu: O lançamento da primeira avaliação de detecção de alucinações de múltiplas interações para RAG financeiro coreano, construída sobre documentos autênticos e cobrindo diversos domínios financeiros (por exemplo, Economia Financeira, Seguros).
2. Taxonomia Hierárquica: Uma taxonomia inovadora que leva explicitamente em conta a abstenção justificada em diálogos de múltiplas interações, distinguindo entre "Recusa Falsa" e "Recusa Verdadeira".
3. Pipeline de Construção Escalável: Demonstração de que o pipeline de injeção pode gerar automaticamente uma divisão de treinamento, permitindo o ajuste fino de modelos menores (8B) para igualar ou superar LLMs de ponta.

Resultados Experimentais

Os autores avaliaram LLMs de ponta e de código aberto (incluindo GPT-5, Gemini-2.5, Llama-3, Qwen3 e modelos centrados na Coreia) como detectores de alucinações.

• Detecção Binária: Modelos de código fechado lideraram o desempenho, com o Gemini-2.5-Flash alcançando o maior F1 (0,860). Modelos de código aberto como Qwen3-32B (F1 0,732) mostraram desempenho competitivo, enquanto modelos centrados na Coreia ficaram atrás de contrapartes globais de tamanho similar.
• Detecção Multiclasse: O desempenho caiu significativamente ao passar da detecção binária para o diagnóstico multiclasse (identificar o tipo específico de alucinação). Mesmo os modelos mais fortes lutaram com diagnósticos de granularidade fina.
• Comportamento de Recusa: A "abstenção justificada" permaneceu o eixo mais fraco em todos os modelos. A maioria dos modelos base falhou em distinguir entre Recusa Verdadeira e Recusa Falsa, frequentemente prevendo um tipo exclusivamente.
• Impacto do Ajuste Fino: O ajuste fino de um modelo de 8B (Qwen3-8B) com supervisão de raciocínio (treinando o modelo para emitir uma trilha de raciocínio antes do rótulo) resultou em uma precisão geral de 0,896, superando todos os modelos base, incluindo o GPT-5 (0,855). Essa abordagem melhorou significativamente a precisão da detecção de alucinações (de 0,446 para 0,864).
• Análise de Subtipos: "Mal-entendido de Termos Financeiros" persistiu como um gargalo primário, mostrando melhoria mínima mesmo com escalas de modelos maiores (até 32B), sugerindo a necessidade de expertise de domínio mais profunda além da correspondência lexical.

Significado e Alegações

O artigo alega que o K-FinHallu aborda uma lacuna crítica na avaliação de IA financeira, especificamente a necessidade de avaliações de múltiplas interações, linguisticamente nuances e conscientes de regulamentação. Os autores enfatizam que:

• A Abstenção Justificada é Crítica: A capacidade de recusar corretamente a resposta quando a evidência está ausente é uma dimensão vital, mas subavaliada, no RAG financeiro.
• Modelos Pequenos Podem Competir: Com supervisão de raciocínio, um modelo de 8B ajustado finamente pode alcançar desempenho competitivo ou superior aos LLMs de ponta, oferecendo um caminho prático para o desenvolvimento de detectores de código aberto.
• A Especificidade do Domínio Importa: A persistência de erros na compreensão de termos financeiros destaca que as leis de escalonamento gerais não resolvem automaticamente as mudanças semânticas específicas do domínio no jargão financeiro coreano.

O trabalho serve como um teste de estresse para LLMs atuais, revelando que mesmo modelos de última geração lutam com os diagnósticos de granularidade fina e comportamentos de recusa necessários para uma implantação confiável em ambientes financeiros de alto risco.