🤖 machine learning

GAUGE: Grading Agent-Built Financial Models Without a Golden Answer

El artículo presenta GAUGE, un nuevo referente que evalúa los modelos financieros construidos por IA frente a las prácticas observadas de los analistas en lugar de una única respuesta "dorada", revelando que, si bien los agentes actuales sobresalen en la construcción mecánica de modelos, todavía se quedan significativamente atrás respecto a los profesionales humanos en el juicio de valoración.

Autores originales: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

Publicado 2026-07-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un juez en un programa de cocina. Normalmente, los jueces tienen una única tarjeta de receta "perfecta". Si el plato de un concursante sabe aunque sea ligeramente diferente de esa tarjeta, pierde puntos. Pero, ¿y si hay diez formas diferentes de hacer una lasaña deliciosa? ¿Qué pasaría si la receta "perfecta" es solo la opinión de una persona y la versión del concursante es igualmente sabrosa pero utiliza especias distintas? Este es el problema que enfrentan los científicos al probar la IA en tareas complejas como el modelado financiero. El modelado financiero es como construir una máquina de predicción detallada para el futuro de una empresa; mezcla hechos duros (como las ventas pasadas) con suposiciones educadas (como qué tan rápido crecerá la empresa). Durante décadas, hemos probado la IA comparando sus conjeturas con la respuesta de un único experto. Pero si los propios expertos discrepan sobre cuál es la mejor conjetura, castigar a la IA por tener una respuesta diferente, pero razonable, no parece justo. Este artículo pregunta: ¿Cómo calificamos a la IA cuando no hay una sola respuesta "correcta"?

Los investigadores detrás de este estudio, titulado GAUGE, decidieron dejar de fingir que existe un único modelo financiero perfecto. Construyeron un nuevo campo de pruebas para ver si los agentes de IA pueden construir estas complejas "máquinas de predicción" financieras y, lo que es más importante, si pueden realizar los juicios que realizan los expertos humanos dentro de ellas.

Primero, probaron la forma antigua de calificar. Tomaron 108 pares de modelos financieros construidos por diferentes expertos humanos para las mismas empresas. Cuando calificaron el modelo de un experto frente al de otro utilizando la vieja regla de la "respuesta única perfecta", los resultados fueron impactantes. La mediana de la puntuación fue de solo 0.33 de 1.0. De hecho, el 92.6% de los pares puntuaron por debajo de 0.70. Esto significa que incluso los humanos profesionales, que son todos expertos, suelen discrepar tanto que, si tratas a uno como la "verdad", el otro reprobaría. Resulta que en finanzas, ser "diferente" no significa estar "equivocado".

Para solucionar esto, el equipo creó GAUGE (Grading Agent-Built Financial Models Without a Golden Answer / Calificación de Modelos Financales Construidos por Agentes Sin una Respuesta de Oro). En lugar de una única tarjeta de receta, crearon un "sobre de seguridad" basado en lo que hacen realmente los expertos reales. Imagina un blanco donde el centro no es un punto único, sino un anillo ancho. Si la conjetura de una IA aterriza en cualquier lugar dentro de ese anillo de "comportamiento experto razonable", recibe crédito. El sistema verifica dos cosas:

La Mecánica: ¿Funcionó la matemática? ¿Cuadró la hoja de cálculo? (Como verificar si el horno estaba realmente encendido).
El Juicio: ¿Cayeron las conjeturas de la IA dentro del rango de lo que los expertos reales consideran defendible? (Como verificar si el sazón está dentro del rango del gusto de un buen chef).

Probaron 24 agentes de IA diferentes en este nuevo sistema, junto con un grupo de 55 humanos que iban desde estudiantes de finanzas hasta analistas sénior. Esto es lo que encontraron:

La IA se está volviendo buena en la matemática, pero mala en el instinto. Los agentes de IA fueron excelentes en las partes mecánicas. Las mejores IA pasaron el 93% de las verificaciones mecánicas (asegurarse de que las fórmulas de la hoja de cálculo fueran correctas). Sin embargo, cuando se trataba de las partes de juicio (realizar las predicciones), las mejores IA solo pasaron el 78%.
La "brecha" es real. En promedio, los agentes de IA fueron 26 puntos mejores construyendo el modelo que realizando los juicios de valoración. Pueden construir el coche, pero aún no son muy buenos conduciéndolo.
Los humanos siguen ganando. La mejor IA puntuó 53.4. Esto fue mejor que el promedio de un estudiante de finanzas (43.2), pero peor que cada uno de los analistas sénior (que promediaron 88.3) y la mayoría de los analistas junior. La IA es lo suficientemente inteligente como para hacer la tarea, pero no lo suficientemente inteligente como para ser el jefe.

El estudio sugiere que, si bien la IA se está volviendo muy capaz de construir modelos financieros complejos, la parte más difícil —realizar los juicios matizados y defendibles que los expertos utilizan para valorar una empresa— sigue siendo un desafío significativo. Los autores no solo encontraron una puntuación; demostraron que la forma antigua de calificar (buscar una respuesta perfecta) era injusta tanto para los humanos como para las máquinas, y ofrecieron una nueva forma de medir el progreso que respeta la desordenada realidad del desacuerdo entre expertos.

Resumen Técnico: GAUGE – Calificación de Modelos Financieros Construidos por Agentes sin una Respuesta de Oro

1. Planteamiento del Problema

El modelado financiero implica combinar divulgaciones públicas con supuestos de analistas para generar pronósticos y valoraciones. Mientras que los componentes mecánicos de estos modelos (por ejemplo, la precisión de los datos históricos, el equilibrio de las identidades contables) son objetivamente verificables, los componentes de valoración (por ejemplo, pronósticos de ingresos, tasas de descuento, precios objetivo) admiten inherentemente múltiples respuestas razonables.

Los benchmarks existentes para agentes de IA financiera suelen calificar los resultados contra una única referencia de experto (una "respuesta de oro"). Los autores argumentan que este enfoque es defectuoso para las tareas de valoración porque penaliza a los agentes por discrepar con un analista de referencia específico, incluso cuando los supuestos del agente son defendibles y consistentes con la práctica profesional. Este diseño confunde el desacuerdo profesional con el error del modelo, fallando al no contabilizar la "indeterminación de la calificación" inherente a los artefactos abiertos de finanzas.

El artículo demuestra empíricamente este problema calificando modelos de analistas construidos de forma independiente entre sí. A través de 108 pares dirigidos que cubren 65 empresas, la mediana de la puntuación utilizando un enfoque de tolerancia de punto de referencia única es 0.33, y el 92.6% de los pares califican por debajo de 0.70. Ningún par de la misma época coincide en el precio implícito de la acción dentro de un 10%. Esto sugiere que la calificación estándar de tolerancia de punto penaliza el desacuerdo natural que existe incluso entre analistas profesionales.

2. Metodología: El Benchmark GAUGE

Para abordar las limitaciones de la calificación de referencia única, los autores introducen GAUGE, un benchmark diseñado para evaluar modelos de valoración construidos por agentes contra la práctica observada de los analistas en lugar de un único punto estimado.

2.1 Corpus y Diseño de la Tarea

Corpus: El benchmark se construye a partir de 1,001 libros de trabajo de analistas clasificados por proveedores que cubren 9 de 922 tickers en 25 industrias GICS.
Formato de la Tarea: El conjunto de evaluación consiste en 196 tareas (con un núcleo de 48 tareas para la evaluación de agentes). Los agentes reciben una tarea de "Excel-in / Model-out": se les proporcionan datos históricos brutos, esqueletos de segmentos y orientación, pero se retienen los pronósticos de consenso.
Entregables: Los agentes deben producir un modelo basado en fórmulas, una valoración, un análisis de sensibilidad, un archivo de supuestos y un memorándum.
Integridad de los Datos: El corpus está desidentificado, y un "pool de actualización retenido" (~600 libros de trabajo) se reserva para una evaluación longitudinal futura para evitar la contaminación.

2.2 Sistema de Calificación

GAUGE emplea una pila de calificación de múltiples capas que separa la corrección mecánica del juicio:

Envolvente de Defendibilidad de Tres Capas: En lugar de un solo punto, las cantidades que requieren juicio se evalúan contra un rango derivado de la práctica observada.
- Método-E: Utiliza el mínimo/máximo de los valores de múltiples métodos y las cuadrículas de sensibilidad dentro de un libro de trabajo específico.
- Industria-E: Utiliza las distribuciones P10–P90 de los supuestos en la industria.
- Compañía-E: Calibra las bandas utilizando la dispersión de múltiples analistas que cubren la misma compañía.
- Calificación: Los valores dentro de la banda estrecha califican con 2; los valores en la banda "cercana" ensanchada (expandida por el desacuerdo P90) califican con 1; los valores fuera califican con 0.
56 Facetas: El sistema evalúa 56 facetas específicas categorizadas en:
- 29 Deterministas (D): Verificaciones estructurales (por ejemplo, vinculación de fórmulas, identidades contables).
- 23 Juzgadas por LLM (J): Evaluaciones cualitativas de supuestos y lógica.
- 4 de Regla Directa (R): Verificaciones basadas en reglas específicas (por ejemplo, pertenencia a la banda WACC).
Puertas de Validez (G1–G8): Ocho puertas deterministas detectan fallos estructurales (por ejemplo, balances desequilibrados, referencias circulares, contaminación por anticipación de datos/look-ahead). Si se activa una puerta, esta impone un tope de calificación (techo), evitando que modelos estructuralmente inutilizables reciban puntuaciones altas a pesar de tener salidas locales plausibles.
Puntuación Consciente de Fallos ( $\phi_0$ ): La métrica principal asigna una puntuación de 0 a las no completaciones o fallos de capacidad, asegurando que los agentes no puedan obtener clasificaciones altas simplemente completando un subconjunto de tareas mientras fallan en otras.

3. Configuración Experimental

Agentes: Se evaluaron 24 agentes de 12 proveedores (incluyendo variantes de Claude, GPT-5, Gemini, Kimi, Qwen, etc.) en el núcleo de 48 tareas.
Línea Base Humana: Se realizó un estudio de grupos conocidos con 55 participantes con tres grupos: Analistas Senior (12), Analistas Junior (18) y Estudiantes de Finanzas (25). Los participantes trabajaron bajo las mismas restricciones que los agentes (sin acceso a la red, mismos inputs) pero sin el estricto presupuesto de tiempo.
Protocolo de Evaluación: Los agentes utilizaron un arnés de llamada a herramientas estandarizado. Cada tarea se ejecutó una vez por agente para evitar el sesgo de mejor caso.

4. Resultados Clave

4.1 Rendimiento de Agentes vs. Humanos

Sobre la puntuación consciente de fallos $\phi_0$ :

Analistas Senior: Promedio 88.3
Analistas Junior: Promedio 66.0
Estudiantes de Finanzas: Promedio 43.2
Mejor Agente (Claude Fable 5): Calificó 53.4.
- Esto está por encima de la media de los estudiantes, pero por debajo de todos los analistas senior y de 15 de los 18 analistas junior.
- 33 de los 55 participantes humanos superaron al mejor agente.

4.2 Brecha Mecánica vs. Juicio

Un hallazgo crítico es la disparidad entre la capacidad de un agente para construir modelos y su capacidad para ejercer el juicio de valoración:

Facetas Mecánicas: El mejor agente pasó el 93% de las facetas mecánicas (corrección estructural/formulaica).
Facetas de Juicio: El mejor agente pasó solo el 78% de las facetas de juicio.
Brecha Mediana de la Flota: A través de los 24 agentes, la brecha mediana entre las tasas de aprobación mecánica y de juicio es de 26 puntos.
Conclusión: Los agentes actuales son sustancialmente más fuertes en la construcción de modelos que en el juicio de valoración.

4.3 Validez y Estabilidad

Orden de Grupos Conocidos: El benchmark ordena con éxito a los humanos por experiencia (Senior > Junior > Estudiante) con alta significación estadística ( $p < 10^{-6}$ ).
Impacto de las Puertas: Eliminar las puertas de validez revirtió 11 de los 276 ordenamientos de pares de modelos, confirmando que las verificaciones estructurales son necesarias para evitar puntuaciones infladas en modelos rotos.
Estabilidad del Juez: La votación repetida por un único juez congelado (5 extracciones) arrojó un Kendall's $\tau$ de 0.944, lo que indica una alta estabilidad de muestreo.

5. Significancia y Reivindicaciones

El artículo reivindica tres contribuciones principales:

Examen Empírico del Supuesto de Referencia Única: Demuestra que calificar contra una única referencia de experto es problemático para la valoración, ya que los analistas profesionales frecuentemente discrepan sobre supuestos clave (WACC, crecimiento terminal, precio implícito) incluso cuando producen modelos internamente consistentes.
Introducción de GAUGE: Proporciona un benchmark que desacopla la verificación mecánica de la evaluación del juicio, utilizando una "envolvente de práctica observada" para calificar elecciones defendibles en lugar de respuestas idénticas.
Identificación de Capacidades de los Agentes: Establece que, si bien los agentes se están volviendo capaces de automatizar la construcción de modelos financieros, el juicio requerido para la valoración sigue siendo un cuello de botella significativo.

Los autores enfatizan que GAUGE no pretende establecer una "verdad absoluta" para la valoración (ya que existen múltiples respuestas defendibles), sino que proporciona un marco para evaluar si las elecciones de un agente caen dentro del rango de la práctica profesional observada. El lanzamiento incluye la metodología, las divisiones de datos con puertas de control y un núcleo longitudinal versionado para apoyar la evaluación reproducible y con control de contaminación.