Can Open-Weight Models Compete on Financial Text Comprehension?

Resumen Técnico: ¿Pueden los modelos de pesos abiertos competir en la comprensión de textos financieros?

Planteamiento del problema
Si bien los modelos de lenguaje de pesos abiertos de laboratorios de IA chinos han cerrado recientemente la brecha de rendimiento con los modelos propietarios de vanguardia en benchmarks generales, su fiabilidad en tareas financieras del mundo real sigue sin ser probada. Un desafío significativo al evaluar Modelos de Lenguaje Extensos (LLMs) en 2025–2026 es la contaminación de los benchmarks, donde los conjuntos de datos públicos son absorbidos por los corpora de entrenamiento. Además, los informes anuales financieros presentan un dominio excepcionalmente exigente debido a su longitud (que supera las 700 páginas), su heterogeneidad (mezcla de narrativa, textos regulatorios estándar y tablas complejas) y su diversidad jurisdiccional (que cubre 22 países y diversos estándares contables). Los benchmarks previos solían depender de contextos cortos o documentos únicos, fallando en capturar la complejidad de recuperar métricas financieras específicas de informes no estructurados de múltiples páginas.

Metodología
El autor actualizó el benchmark Financial Touchstone, expandiéndolo de 2,878 preguntas sobre 480 informes a 2,967 tripletas de pregunta-contexto-respuesta a través de 495 informes anuales internacionales (v1.2). El conjunto de datos cubre todos los sectores del Global Industry Classification Standard (GICS) e incluye informes de 2021–2023.

• Evaluación de modelos: El estudio evaluó 20 modelos de 10 proveedores, expandiendo el conjunto previo de 11. Esto incluye modelos de pesos abiertos recientes (p. ej., Kimi K2.6, GLM 5, DeepSeek V3.2) y flagships propietarios (p. ej., Qwen3-Max, Claude Opus 4.6, Gemini 2.5 Pro).
• Pipeline: Se empleó un pipeline de Generación Aumentada por Recuperación (RAG) donde los informes se fragmentan en ventanas de 1,000 tokens. Los 5 fragmentos superiores se recuperan utilizando un modelo de embedding fijo (text-embedding-3-small) y FAISS. Crucialmente, el paso de recuperación es parte de la tarea; los fallos en la recuperación del contexto relevante se tratan como fallos del sistema, no se excusan como problemas de etapas previas.
• Métricas de evaluación: El rendimiento se mide mediante:
  1. Precisión (Accuracy): El recall de la información requerida frente a una "respuesta de oro" curada por humanos.
  2. Tasa de Alucinación: La proporción de afirmaciones no respaldadas por el texto fuente.
  3. Taxonomía de Fallos: Los errores se categorizan como Fallos de Recuperación, Errores de Comprensión del Modelo o Alucinaciones.
• Control de Calidad: Se utilizó un chequeo de sanidad con modelo en el bucle (model-in-the-loop) y un proceso de doble anotación para revisar 67 respuestas incompletas y 15 respuestas de oro alucinadas. La precisión de la línea base humana es del 82.8% con una tasa de alucinación del 2.8%.

Resultados Clave

• Rendimiento de los modelos: Claude Opus 4.6 de Anthropic logró la mayor precisión (88.4%), seguido de Claude Sonnet 4.6 (86.7%). Notablemente, el modelo de pesos abiertos Kimi K2.6 ocupó el tercer lugar (83.5%), superando la línea base humana. Los modelos de no-razonamiento GLM 5 (82.0%) y Mistral 3 (81.3%) también se situaron entre los cinco primeros, desafiando la suposición de que las arquitecturas de razonamiento son un prerrequisito para una sólida comprensión financiera.
• Alucinación vs. Precisión: Gemini 2.5 Pro de Google mantuvo la tasa de alucinación más baja (0.08%), significativamente por debajo de la línea base humana, pero ocupó el puesto 13 en precisión (76.6%). Por el contrario, Mistral 3 tuvo una alta tasa de alucinación (13.0%) a pesar de una precisión decente. Kimi K2.6 emergió como un equilibrio sólido, ocupando el tercer lugar en precisión con una baja tasa de alucinación (0.13%).
• Fuentes de error: La recuperación de información sigue siendo el principal cuello de botella, representando el 48.9% de todos los fallos. Los errores de comprensión del modelo representaron el 44.7%, y las alucinaciones independientes el 9.1%. Cuando la recuperación falla, la precisión en todos los modelos cae drásticamente del 77.9% al 12.0%.
• Filtrado de contenido: Un hallazgo novedoso documenta que los modelos chinos exhiben filtros de contenido geopolítico que rechazan preguntas financieras legítimas. En 23,736 intentos, 18 rechazos (0.08%) persistieron en los datos del benchmark. Los rechazos fueron activados por menciones de líderes políticos chinos (p. ej., en informes de Kweichow Moutai), protestas en Hong Kong o bancos estatales. Crucialmente, se encontró que el comportamiento de rechazo depende de la ruta de acceso: solicitudes idénticas dirigidas a través de proxies de terceros fueron respondidas con frecuencia, mientras que las llamadas nativas a la API fueron rechazadas.

Significancia y Reivindicaciones
El artículo reclama tres cambios sustantivos en el panorama de la IA financiera:

1. Competitividad de los Pesos Abiertos: Los modelos de pesos abiertos, particularmente los de laboratorios chinos, han cerrado la brecha con los modelos propietarios de vanguardia en la comprensión de textos financieros, con algunos (Kimi K2.6, GLM 5) superando a los modelos de razonamiento establecidos.
2. Razonamiento vs. No-Razonamiento: La correlación entre la arquitectura de "razonamiento" y el rendimiento financiero se ha debilitado. Los modelos de no-razonamiento (Mistral 3, GPT-4o) y los modelos de pesos abiertos son competitivos con, o superiores a, los modelos dedicados al razonamiento (p. ej., Magistral, Grok 4) en esta tarea específica.
3. Riesgos de Despliegue: El estudio identifica el filtrado de contenido en los modelos chinos como un riesgo de despliegue mensurable para el análisis financiero global, donde consultas legítimas sobre jurisdicciones o entidades específicas pueden ser bloqueadas basándose en disparadores geopolíticos, un comportamiento que varía según la ruta de acceso.

El autor concluye que, si bien las capacidades de generación de los modelos han mejorado, el cuello de botella de la recuperación sigue siendo la barrera más significativa para una IA financiera de alta fidelidad. Sugiere que mejorar el stack de RAG (p. ej., vía GraphRAG) ofrece más potencial para ganancias de rendimiento que simplemente cambiar los generadores. El conjunto de datos y el marco de evaluación se publican para apoyar la reproducibilidad.