Resumen Técnico: K-FinHallu

Enunciado del Problema

Aunque los Modelos de Lenguaje Grande (LLM) han avanzado la automatización financiera mediante la Generación Aumentada por Recuperación (RAG), las alucinaciones siguen siendo una barrera crítica para su despliegue en entornos financieros de alto riesgo. Las evaluaciones existentes para la detección de alucinaciones sufren dos brechas principales al aplicarse a servicios financieros del mundo real:

1. Limitación de Vuelta Única: La mayoría de las evaluaciones se centran en tareas de una sola vuelta, sin capturar las complejidades de los diálogos de múltiples vueltas donde las alucinaciones surgen de fallos en el seguimiento del contexto, errores en la resolución de anáforas o inconsistencias lógicas con vueltas anteriores.
2. Brechas Lingüísticas y Regulatorias: Los conjuntos de datos existentes son predominantemente centrados en inglés e institucionales occidentales, descuidando los matices únicos del dominio financiero coreano. Esto incluye marcos regulatorios específicos (por ejemplo, el sistema de arrendamiento Jeonse), morfología aglutinante y terminología técnica sino-coreana polisémica que no puede abordarse mediante una simple traducción.

En consecuencia, existe una falta de marcos de evaluación rigurosos para detectar alucinaciones específicas del dominio en sistemas RAG financieros coreanos de múltiples vueltas, particularmente en lo que respecta a la "abstención justificada" (saber cuándo no responder).

Metodología

Los autores presentan K-FinHallu, la primera evaluación para la detección de alucinaciones en RAG financiero coreano de múltiples vueltas, construida a partir de documentos financieros coreanos auténticos.

Construcción del Conjunto de Datos

• Corpus de Origen: El conjunto de datos se basa en el conjunto de datos de "Comprensión de Lectura de Documentos Financieros y Legales Coreanos para Máquinas" de AI-Hub, filtrado por categorías financieras. Para prevenir la fuga de datos, el conjunto de prueba se extrae del Servicio de Supervisión Financiera (FSS) y la Agencia de Consumidores de Corea, mientras que el conjunto de entrenamiento utiliza instituciones disjuntas.
• Generación de Diálogos Fieles: Una tubería que utiliza GPT-4o simula diálogos de múltiples vueltas (4–8 vueltas) entre un usuario y un asistente. El asistente genera respuestas estrictamente fundamentadas en pasajes de oro y textos de pista de los documentos de origen. La tubería incluye vueltas de "reconfirmación" para probar el seguimiento del contexto.
• Simulación de Recuperación: Para aislar la detección de alucinaciones de errores de recuperación, el sistema simula RAG proporcionando contextos de recuperación controlados ($P_n$).
  • Escenarios Respondibles: $P_n$ contiene el pasaje de oro.
  • Escenarios No Respondibles: $P_n$ consiste enteramente en "negativos duros" (pasajes semánticamente similares que carecen de la respuesta).
• Inyección de Alucinaciones: Una tubería automatizada inyecta alucinaciones sutiles en diálogos fieles basándose en una taxonomía jerárquica propuesta. Las estrategias incluyen ediciones mínimas (por ejemplo, intercambiar términos financieros, alterar números/modificadores) para preservar la naturalidad mientras se introducen errores críticos. Se utilizan dos fuentes de inyección (GPT-4o y Gemini-2.5-Flash) para mitigar artefactos específicos del modelo.
• Control de Calidad: Los diálogos y las alucinaciones inyectadas pasan por un filtrado riguroso mediante un LLM como juez y anotación humana, asegurando un alto acuerdo (AC1 de Gwet > 0.70) en criterios como respondibilidad, plausibilidad y naturalidad.

Taxonomía de Alucinaciones

El artículo propone una taxonomía basada en la respondibilidad del contexto:

1. Escenarios Respondibles:
   • Contradictoria: La respuesta entra en conflicto con el contexto o el historial del diálogo.
   • No Verificable: La respuesta incluye afirmaciones externas no respaldadas por el contexto.
   • Irrelevancia: La respuesta está lógicamente desconectada de la intención del usuario.
   • Falsa Negativa: El modelo se niega a responder a pesar de existir evidencia suficiente.
2. Escenarios No Respondibles:
   • Falsa Aceptación: El modelo proporciona una respuesta a pesar de carecer de evidencia.
   • Verdadera Negativa: El modelo se abstiene correctamente (el comportamiento deseado).

Contribuciones Clave

1. Evaluación K-FinHallu: El lanzamiento de la primera evaluación de detección de alucinaciones de múltiples vueltas para RAG financiero coreano, construida sobre documentos auténticos y que abarca diversos dominios financieros (por ejemplo, Economía Financiera, Seguros).
2. Taxonomía Jerárquica: Una taxonomía novedosa que cuenta explícitamente con la abstención justificada en diálogos de múltiples vueltas, distinguiendo entre "Falsa Negativa" y "Verdadera Negativa".
3. Tubería de Construcción Escalable: Demostración de que la tubería de inyección puede generar automáticamente una división de entrenamiento, permitiendo el ajuste fino de modelos más pequeños (8B) para igualar o superar a los LLM de vanguardia.

Resultados Experimentales

Los autores evaluaron LLMs de vanguardia y de código abierto (incluyendo GPT-5, Gemini-2.5, Llama-3, Qwen3 y modelos centrados en Corea) como detectores de alucinaciones.

• Detección Binaria: Los modelos de código cerrado lideraron el rendimiento, con Gemini-2.5-Flash alcanzando el F1 más alto (0.860). Los modelos de código abierto como Qwen3-32B (F1 0.732) mostraron un rendimiento competitivo, mientras que los modelos centrados en Corea quedaron por detrás de sus contrapartes globales de tamaño similar.
• Detección Multiclase: El rendimiento disminuyó significativamente al pasar de la detección binaria al diagnóstico multiclase (identificar el tipo específico de alucinación). Incluso los modelos más fuertes lucharon con diagnósticos de granularidad fina.
• Comportamiento de Negativa: La "abstención justificada" permaneció como el eje más débil en todos los modelos. La mayoría de los modelos base no lograron distinguir entre Negativa Verdadera y Falsa Negativa, a menudo prediciendo un tipo exclusivamente.
• Impacto del Ajuste Fino: El ajuste fino de un modelo de 8B (Qwen3-8B) con supervisión de razonamiento (entrenando al modelo para que genere una traza de razonamiento antes de la etiqueta) produjo una precisión general de 0.896, superando a todos los modelos base, incluido GPT-5 (0.855). Este enfoque mejoró significativamente la precisión de la detección de alucinaciones (de 0.446 a 0.864).
• Análisis de Subtipos: El "Malentendido de Términos Financieros" persistió como un cuello de botella principal, mostrando una mejora mínima incluso con escalas de modelos más grandes (hasta 32B), lo que sugiere la necesidad de una experiencia de dominio más profunda más allá de la coincidencia léxica.

Significado y Afirmaciones

El artículo afirma que K-FinHallu aborda una brecha crítica en la evaluación de la IA financiera, específicamente la necesidad de evaluaciones de múltiples vueltas, con matices lingüísticos y conscientes de la regulación. Los autores enfatizan que:

• La Abstención Justificada es Crítica: La capacidad de negarse correctamente a responder cuando falta evidencia es una dimensión vital pero subevaluada en el RAG financiero.
• Los Modelos Pequeños Pueden Competir: Con supervisión de razonamiento, un modelo ajustado fino de 8B puede lograr un rendimiento competitivo o superior a los LLM de vanguardia, ofreciendo un camino práctico para el desarrollo de detectores de código abierto.
• La Especificidad del Dominio Importa: La persistencia de errores en la comprensión de términos financieros destaca que las leyes de escalado general no resuelven automáticamente los cambios semánticos específicos del dominio en la jerga financiera coreana.

El trabajo sirve como una prueba de estrés para los LLM actuales, revelando que incluso los modelos más avanzados luchan con los diagnósticos de granularidad fina y los comportamientos de negativa requeridos para un despliegue confiable en entornos financieros de alto riesgo.