Resumen Técnico: FinRAG-12B

Enunciado del Problema

La adopción de Modelos de Lenguaje Grandes (LLM) en el sector bancario se ve obstaculizada por requisitos estrictos de precisión factual, cumplimiento normativo y fundamentación verificable. Los modelos comerciales suelen sufrir de alucinaciones, comportamiento excesivamente complaciente (adulación) y falta de alineación con datos dinámicos específicos del dominio, como las tasas de interés y las políticas institucionales. En los sistemas de Generación Aumentada por Recuperación (RAG), los modelos pueden ignorar el contexto recuperado, depender de pasajes irrelevantes o fabricar respuestas cuando la información no está disponible. Esto plantea riesgos regulatorios y financieros significativos. Además, las soluciones existentes a menudo no logran equilibrar la compensación entre responder consultas y negarse a responder cuando la evidencia es insuficiente, lo que conduce tanto a alucinaciones inseguras como a una negativa excesiva (excesiva cautela).

Metodología

Los autores proponen FinRAG-12B, un LLM de 12 mil millones de parámetros optimizado para RAG bancario, construido sobre el modelo base Gemma 3 12B-IT. El enfoque se centra en un marco de entrenamiento unificado y eficiente en datos que optimiza conjuntamente la calidad de la respuesta, la fundamentación de las citas y la negativa calibrada.

1. Pipeline de Curación de Datos

El corpus de entrenamiento consta de 98.648 muestras (143 millones de tokens), priorizando la calidad sobre la escala. El pipeline implica:

• RAG-v1 (Código Abierto): 43.581 muestras filtradas mediante JudgeLM para garantizar una supervisión de alta calidad.
• QA Sintética de la SEC: 16.773 muestras generadas a partir de presentaciones ante la SEC (10-K, 10-Q) utilizando un pipeline de cinco etapas. Esto incluye la segmentación de documentos, la generación de preguntas en cuatro niveles de dificultad, la reformulación para coincidir con las distribuciones reales de consultas de usuarios (estilo, longitud, formalidad), la imposición de salidas con estilo de cita y la inyección de pasajes distractores para simular ruido en la recuperación.
• Subconjunto Financiero de CommonCrawl: 20.499 muestras derivadas de consultas reales de usuarios (sin información de identificación personal) y pasajes relevantes, filtradas mediante un clasificador de bosque aleatorio para garantizar el cumplimiento de la privacidad.
• Datos de Calibración de Negativa: 17.795 ejemplos propietarios (22% de la mezcla) donde el contexto recuperado es temáticamente relevante pero insuficiente. La salida objetivo es un "No lo sé" explícito, entrenando al modelo para abstenerse en lugar de alucinar.

2. Estrategia de Entrenamiento

El modelo emplea un enfoque de aprendizaje curricular en dos etapas:

• Etapa 1 (Adaptación al Dominio): Entrenado en 60.354 muestras (RAG-v1 + SEC Sintética) con una tasa de aprendizaje conservadora ($1 \times 10^{-6}$). Esto establece capacidades fundamentales para la generación fundamentada y la alineación de citas utilizando datos reproducibles.
• Etapa 2 (Especialización de Tareas): Entrenamiento continuo en 38.294 muestras (CommonCrawl + Bancario Propietario) con una tasa de aprendizaje más alta ($5 \times 10^{-6}$). Esta etapa introduce distribuciones de consultas del mundo real y calibra el comportamiento de negativa.
• Mitigación del Sesgo Posicional: Para contrarrestar la tendencia de los modelos a atender desproporcionadamente al principio o al final del contexto, los autores aleatorizan la colocación de pasajes relevantes entre distractores utilizando una mezcla de distribuciones armónicas de decaimiento trapezoidal derecho discretas.
• Calibración de Negativa: Un barrido sistemático determinó que una proporción del 22% de ejemplos no respondibles produce la compensación óptima, minimizando las respuestas sin apoyo mientras se evita la negativa excesiva en consultas respondibles.

3. Configuración del Modelo y Servicio

• Ajuste Fino: Utiliza LoRA (Adaptación de Bajo Rango) en todas las capas de atención y MLP ($r=64, \alpha=256$).
• Cuantización: El modelo se cuantiza a W4A16 (pesos de 4 bits, activaciones de 16 bits) utilizando SmoothQuant, reduciendo la huella de 24 GB a 8,4 GB para un despliegue eficiente en una sola GPU con degradación mínima del rendimiento.

Contribuciones Clave

1. Pipeline Eficiente en Datos: Un pipeline multietapa que combina filtrado con LLM como juez, generación sintética condicionada al estilo y extracción de datos reales cumpliendo la privacidad para crear un conjunto de datos de entrenamiento de alta calidad y fundamentado con solo 143 millones de tokens.
2. Mecanismo de Negativa Calibrada: Una estrategia basada en muestreo negativo controlado (22% de ejemplos no respondibles) que reduce significativamente las alucinaciones mientras previene la negativa excesiva común en modelos de propósito general.
3. Marco de Producción de Extremo a Extremo: Una metodología validada que abarca la curación de datos, el aprendizaje curricular y el servicio cuantizado, desplegada en más de 40 instituciones financieras.

Resultados

La evaluación se realizó en un conjunto de pruebas bancario propietario (258 ejemplos) y en el benchmark público FinanceBench.

• Calidad de la Respuesta y Fundamentación: FinRAG-12B logró una puntuación de JudgeLM de 6,21, superando a GPT-4.1 (5,72) y al modelo base Gemma 3 (5,70). También mejoró la calidad de las citas a 73,1 (vs. 70,8 para GPT-4.1), demostrando una fundamentación de citas más selectiva y relevante.
• Calibración de Negativa: El modelo logró una tasa de abstención del 12,0% en consultas no respondibles. Esto representa una mejora sustancial sobre la tasa insegura del 4,3% del modelo base (negativa insuficiente) y la tasa del 20,2% de GPT-4.1 (negativa excesiva).
• Generalización: En FinanceBench, FinRAG-12B logró la puntuación F1 más alta (0,284) con una tasa de citas del 97,3%, superando tanto al modelo base como a GPT-4.1.
• Estudios de Ablación: El entrenamiento conjunto en todas las fuentes de datos simultáneamente colapsó el rendimiento (JudgeLM 3,28, 46,5% de negativa excesiva). El currículo en dos etapas fue crítico para resolver el conflicto entre aprender convenciones de citas y calibrar la negativa.
• Latencia y Costo: FinRAG-12B opera 3–5 veces más rápido que GPT-4.1 (0,57 s de tiempo total hasta la finalización vs. 1,83 s) y genera costos 20–50 veces menores por consulta cuando se despliega en una sola GPU RTX 6000 Ada.
• Impacto en Producción: En un despliegue en vivo en una gran cooperativa de crédito de EE. UU., FinRAG-12B mejoró la tasa de resolución de consultas en 7,1 puntos porcentuales (de 77,4% a 84,5%, $p < 0,001$). La satisfacción del usuario aumentó de 59,5% a 62,9%, impulsada principalmente por la mayor tasa de resolución en lugar de mejoras marginales en la calidad por respuesta.

Significancia

El artículo afirma que FinRAG-12B demuestra que la calidad de los datos, la fundamentación y la metodología de entrenamiento son más críticas que la escala del modelo para construir LLMs confiables en dominios regulados. Al integrar un pipeline eficiente en datos con una negativa calibrada, el sistema logra alta precisión y seguridad sin las cargas de latencia y costo de las APIs comerciales grandes. El trabajo destaca que en los sistemas RAG de producción, aumentar la tasa de resolución es el principal impulsor de la satisfacción del usuario, y que un marco unificado puede navegar con éxito las compensaciones entre responder, citar y abstenerse en entornos financieros de alto riesgo.