💬 NLP

Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

El equipo DS@GT propone un flujo de trabajo de recuperación aumentada y enrutado por lenguaje para la respuesta de preguntas financieras multilingües que combina incrustaciones BGE-M3 con fusión de clasificación recíproca ponderada y puntuación directa de opciones mediante log-probabilidades del siguiente token, demostrando que el rendimiento óptimo requiere una selección de modelos específica para cada idioma y la evitación cuidadosa del uso de prompts de cadena de pensamiento para ciertos idiomas.

Autores originales: Justice Ayela, Kabir Sahni

Publicado 2026-07-28✓ Author reviewed ⓘ

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Justice Ayela, Kabir Sahni

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas difícil, pero en lugar de usar solo tu propio cerebro, tienes una enorme biblioteca de libros de referencia justo al lado tuyo. Este es el mundo de la Generación Aumentada por Recuperación (RAG). Piensa en esto como un estudiante tomando un examen al que se le permite consultar un libro de texto antes de responder. Normalmente, las computadoras son excelentes en esto si las preguntas están en inglés, pero las cosas se complican cuando las preguntas están en español, griego o hindi. La "biblioteca" podría estar llena de libros en inglés pero vacía para otros idiomas, y el estudiante podría no saber leer los textos en lenguas extranjeras incluso si los encuentra.

Este artículo aborda una versión muy específica y de alto riesgo de este problema: Exámenes de Certificación Financiera. Estos no son simples trivias; son exámenes complejos para convertirse en un Analista Financiero Certificado o Contador, que requieren una lógica profunda sobre dinero, leyes y reglas contables. La gran pregunta que los autores plantean es: ¿Podemos construir un sistema informático que apruebe estos difíciles exámenes de dinero en cinco idiomas diferentes (inglés, español, griego, chino e hindi) tan bien como lo hace en inglés? La respuesta es importante porque las finanzas son globales, pero la mayoría de los cerebros informáticos han sido entrenados principalmente en inglés, dejando grandes vacíos en cómo manejan el lenguaje financiero en otros idiomas.

El Gran Experimento del Equipo: Un Detective Multilingüe Inteligente

Los investigadores de Georgia Tech, llamando a su equipo DS@GT, construyeron un sistema de detective digital para resolver estas preguntas de exámenes financieros. En lugar de solo adivinar, su sistema sigue un proceso estricto de tres pasos, que ellos llaman un "pipeline" (flujo de trabajo).

Paso 1: El Detective de Idiomas
Primero, el sistema observa la pregunta y se pregunta: "¿Qué idioma es este?". Es como un portero de un club revisando identificaciones. Si la pregunta está en griego, el sistema sabe que necesita extraer libros de la "Sección Griega" de su biblioteca. Si la biblioteca está vacía para ese idioma (lo cual sucede con idiomas más pequeños como el griego o el hindi), toma libros de la "Sección Global" que puedan tener ideas similares, incluso si están en un idioma diferente. Utilizaron una herramienta especial llamada BGE-M3 para traducir el significado de las preguntas a un código universal para que el sistema pudiera encontrar ejemplos relevantes, incluso a través de las barreras lingüísticas.

Paso 2: El Enrutador de Modelos (El "Cerebro Derecho" para el Trabajo Adecuado)
Aquí es donde el equipo encontró algo sorprendente. No usaron simplemente un cerebro informático gigante para todo. Descubrieron que diferentes cerebros informáticos son mejores para diferentes idiomas.

Para el inglés, usaron un modelo llamado Qwen2.5-14B.
Para el griego, descubrieron sorprendentemente que un modelo más pequeño, Llama-3.1-8B, era en realidad la superestrella, superando a los modelos más grandes por un margen enorme (¡cerca de 19.5 puntos porcentuales!).
Para el chino, hindi y árabe, usaron Qwen3-14B.

Si simplemente hubieran usado el "mejor" modelo para todos, el sistema habría fallado estrepitosamente en inglés y griego. Es como darse cuenta de que, aunque un maratonista es excelente para largas distancias, no querrías que jugara al ajedrez; necesitas un especialista diferente para cada tarea.

Paso 3: El Calificador (No Más Juegos de Adivinanza)
Usualmente, cuando las computadoras responden preguntas, intentan "escribir" la respuesta, como "La respuesta es la C". Esto a menudo conduce a errores donde la computadora escribe un párrafo largo y olvida decir qué letra eligió. El equipo de DS@GT utilizó un truco ingenioso llamado Calificación Directa Aumentada por Recuperación (RADS). En lugar de escribir la respuesta, el sistema simplemente verifica la matemática: "¿Qué tan probable es que la letra 'A' sea la siguiente palabra? ¿Qué tan probable es la 'B'? ¿Qué tan probable es la 'C'?" Elige la letra con la puntuación matemática más alta. Esto es como un examen de opción múltiple donde la computadora no tiene que escribir un ensayo; simplemente señala el círculo correcto. Este método eliminó casi todos los "fallos de análisis" (errores al leer la propia respuesta de la computadora), logrando una tasa de éxito del 100% en las preguntas chinas donde otros métodos tuvieron dificultades.

Los Descubrimientos Sorprendentes

El equipo realizó miles de pruebas y encontró algunas reglas que rompieron las ideas habituales sobre cómo funciona la IA:

Pensar Demasiado Puede Ser Malo: Para la mayoría de las personas, la "Cadena de Pensamiento" (pedirle a la IA que explique su razonamiento paso a paso) ayuda. Pero para las preguntas en griego, esto en realidad destruyó el rendimiento. La precisión cayó de un fantástico 90.7% a un terrible 20.9%. Resulta que para estas preguntas griegas específicas, que se tratan más de categorizar hechos que de resolver problemas matemáticos, hacer que la IA "piense en voz alta" la confundió. Empezó a escribir historias en lugar de elegir la categoría correcta.
La Trampa del "Modo de Pensamiento": El modelo Qwen3 tiene una configuración predeterminada donde escribe una sección de "pensamiento" antes de la respuesta. El equipo encontró que si dejaban esto encendido, la capacidad del sistema para elegir la letra correcta (RADS) colapsaba a un nivel cercano al azar para el árabe. Tuvieron que desactivar manualmente este "modo de pensamiento" para que el sistema funcionara.
La Traducción es una Trampa: Intentaron traducir preguntas de otros idiomas al inglés, resolverlas y luego traducir de vuelta. Esto fue un desastre. La traducción perdió detalles financieros importantes y las puntuaciones cayeron casi 20 puntos porcentuales en comparación con resolverlas en el idioma original.
Los Datos Importan, Pero los Modelos Importan Más: Para el hindi, añadir más ejemplos nativos en hindi a su biblioteca ayudó, pero solo un poco (aproximadamente 1 punto porcentual). Sin embargo, la brecha entre su sistema y la IA comercial líder (Claude Opus 4.7) fue enorme (17 puntos porcentuales). Esto sugiere que, para idiomas con pocos recursos, el problema no es solo tener más libros en la biblioteca; es que el cerebro informático mismo necesita ser entrenado más profundamente en esos términos financieros específicos de ese idioma.

La Tabla de Puntuación Final

Cuando el equipo presentó su sistema a la competencia oficial FinMMEval 2026, les fue bien, clasificando en el top 10 para la mayoría de los idiomas.

Árabe: 76.0% (10º lugar)
Hindi: 73.5% (7º lugar)
Inglés: 69.5% (9º lugar)
Chino: 64.5% (9º lugar)

Aunque no ganaron el primer lugar (los equipos superiores puntuaron por encima del 90%), su trabajo demostró una lección vital: Una sola talla no sirve para todos. Para construir una IA financiera inteligente que funcione globalmente, no puedes usar un solo modelo y una sola estrategia. Necesitas enrutar diferentes idiomas a diferentes modelos, elegir diferentes estrategias de pensamiento basadas en la tarea y calificar las respuestas matemáticamente en lugar de escribirlas. El futuro de la IA financiera global no es sobre un único supercerebro; es sobre un equipo de especialistas, cada uno hablando el idioma correcto y usando las herramientas adecuadas.

tokens) se desactiva explícitamente (enable_thinking=False). Esto es necesario porque los tokens de razonamiento desplazan la letra de la respuesta de la posición del siguiente token inmediato, rompiendo el mecanismo de puntuación.

3. Puntuación Directa con Recuperación Aumentada (RADS)

En lugar de generar texto libre, el sistema utiliza Puntuación Directa con Recuperación Aumentada (RADS):

Mecanismo: El modelo recibe un prompt que contiene la consulta y los 5 mejores ejemplares recuperados. Realiza una única pasada hacia adelante (forward pass) y calcula la log-probabilidad del siguiente token para cada letra de opción válida (A, B, C, D, E).
Predicción: La respuesta es el argmax de estas log-probabilidades.
Ventaja: Este enfoque elimina los fallos de análisis (p. ej., errores de extracción de regex) y los sesgos de formato inherentes a los métodos basados en generación.

Contribuciones Clave

Pipeline RAG Multilingüe Estructurado: Una arquitectura adaptada para el razonamiento en exámenes financieros que impone la consistencia lingüística en la recuperación y la selección del modelo.
Recuperación de Ejemplares de Dos Capas: Una estrategia que combina índices por dataset y globales utilizando RRF ponderado para manejar eficazmente los idiomas de bajos recursos.
Análisis Empírico de la Asimetría: El artículo documenta brechas de rendimiento significativas y no intuitivas:
- Necesidad de Enrutamiento de Modelos: Ningún modelo único es óptimo en todos los idiomas. Qwen3-14B supera a Qwen2.5-14B en chino (+4.2 pp) pero retrocede en inglés (-22.9 pp). Llama-3.1-8B supera a todas las variantes de Qwen en griego por +19.5 pp.
- Sensibilidad de la Estrategia de Razonamiento: El prompting de Cadena de Pensamiento (CoT) degrada significamente el rendimiento en griego (90.7% $\to$ 20.9%) e hindi (-19 pp), mientras que solo ayuda marginalmente en chino.
- Estrategia de Puntuación: RADS logra tasas de análisis del 100% y supera a la generación de pocos disparos (few-shot), particularmente al eliminar la ambigüedad de la decodificación de texto libre.

Resultados

Rendimiento en el Leaderboard de Dev: El sistema alcanzó precisiones de 76.0% (árabe), 73.5% (hindi), 69.5% (inglés) y 64.5% (chino) en el conjunto de prueba final.
Impacto de los Datos Nativos: Expandir la base de conocimientos de hindi de proxies translingüísticos a un fragmento nativo de 5,982 ejemplares produjo una mejora modesta de +1.0 pp, lo que sugiere que para el hindi, el cuello de botella es la capacidad del modelo base más que la calidad de la recuperación.
Comparación con Modelos de Frontera: Persiste una brecha de 17 puntos porcentuales entre el mejor sistema local (Qwen3-14B + RADS) y los modelos de API de frontera (Claude Opus 4.7) en hindi, lo que indica que las mejoras en la recuperación por sí solas no pueden cerrar la brecha para los idiomas de bajos recursos.
Ablación del Solver: RADS (Solver B) empató o superó consistentemente a la generación de pocos disparos (Solver A) en diversos idiomas. Los solvers basados en traducción (Solver C) fueron los de peor desempeño, y el CoT con autoconsistencia (Solver D) causó una degradación severa en griego e inglés.

Significado y Reivindicaciones

El artículo argumenta que un QA financiero multilingüe efectivo requiere una heterogeneidad deliberada en cada capa del pipeline. Desafía dos supuestos comunes:

Backbone Universal: Un único modelo capaz no puede servir como backbone universal; el enrutamiento específico por idioma es un prerrequisito para un rendimiento competitivo.
Razonamiento Uniforme: Las estrategias de razonamiento más sofisticadas (como CoT) no producen ganancias uniformes; pueden ser perjudiciales dependiendo del tipo de tarea (p. ej., clasificación de texto vs. derivación cuantitativa) y el idioma.

Los autores concluyen que los detalles de implementación —como desactivar los modos de pensamiento en modelos específicos y seleccionar el modelo correcto por idioma— son tan críticos como la infraestructura de recuperación. Posicionan su trabajo como el establecimiento del "techo de pesos abiertos" reproducible para esta tarea, destacando que la brecha de rendimiento restante respecto a los modelos de frontera es impulsada por la capacidad del modelo base en idiomas de bajos recursos, más que por la calidad de la recuperación.