💰 quantitative finance

Governing Agentic AI in FinTech

Este artículo sostiene que la principal restricción de gobernanza para la IA agéntica en FinTech no es la capacidad, sino la verificabilidad, introduciendo la "Brecha de Verificabilidad" y demostrando, mediante estudios empíricos, que los sistemas actuales carecen de la reproducibilidad y la explicabilidad requeridas para una delegación defendible de decisiones financieras trascendentales.

Autores originales: Henry Han

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Henry Han

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el capitán de una nave espacial, pero en lugar de pilotar la nave tú mismo, has contratado a una tripulación robótica brillante y superrápida para que se encargue de la navegación. Les dices: "Llévennos al planeta rojo", y ellos salen disparados, revisando mapas, calculando el combustible y activando los propulsores sin pedirte permiso para cada movimiento. Este es el mundo de la IA Agéntica: inteligencia artificial que no solo chatea o escribe poemas, sino que realmente hace cosas, como aprobar préstamos, comprar acciones o gestionar dinero. Durante mucho tiempo, científicos y banqueros se han preocupado por el problema de la "caja negra", lo que significa que el robot toma una decisión, pero nadie sabe por qué o cómo lo hizo. La solución habitual era simplemente ejecutar el cerebro del robot una y otra vez para ver si daba la misma respuesta. Pero aquí está el giro: ¿qué pasa si el cerebro del robot cambia cada vez que lo miras? ¿Qué pasa si el robot olvida sus propios pasos, o si las herramientas que usa para navegar son sustituidas por la empresa que las construyó? Este artículo plantea una pregunta aterradora pero necesaria: Si un robot toma una gran decisión financiera hoy, ¿podemos demostrar exactamente cómo ocurrió mañana, o la evidencia se habrá desvanecido en el aire?

El artículo, titulado "Governing Agentic AI in FinTech" (Gobernando la IA Agéntica en FinTech) de Henry Han, se sumerge profundamente en este misterio. El autor sostiene que el mayor problema no es si estos agentes de IA son lo suficientemente inteligentes para tomar decisiones, sino si podemos verificarlos. Él introduce un concepto llamado la Brecha de Verificabilidad. Piénsalo de esta manera: Le das a un robot un millón de dólares para invertir. Realiza una operación. Más tarde, un auditor pregunta: "Muéstrame los recibos". Si el robot no puede mostrarte el rastro digital exacto de cómo realizó esa operación, o si los "recibos" que te muestra son diferentes de los que realmente utilizó, hay una brecha entre lo que le pediste que hiciera y lo que puedes probar que hizo. El artículo sugiere que a medida que dejamos que los agentes de IA tomen más control, esta brecha se hace más ancha, y podríamos estar volando a ciegas.

Para averiguar esto, el investigador realizó tres diferentes "experimentos de laboratorio" utilizando escenarios financieros como la aprobación de préstamos y el comercio de acciones. Esto es lo que encontró, y es un poco un giro de la trama.

Primero, probó qué sucede cuando el "cerebro" de la IA recibe una actualización. Utilizó un modelo de IA potente y ejecutó los mismos 32 casos financieros durante un periodo de 185 días. Aunque las instrucciones eran idénticas, las decisiones de la IA empezaron a derivar. En las actualizaciones posteriores, la IA se volvió más conservadora, cambiando de opinión en 5 de los 32 casos. Pero, ¿cuál es el verdadero golpe? La empresa que construyó la IA también le quitó los "diales" que permiten a los usuarios controlar cómo piensa la IA. Eliminaron la capacidad de establecer una "semilla aleatoria" (un número que hace que las elecciones de la IA sean repetibles). Es como si el capitán robot de repente cambiara el motor de la nave y luego bloqueara la puerta de la sala de control, diciendo: "Ya no puedes tocar las perillas". El estudio encontró que, incluso con los controles más estrictos posibles, una versión local de la IA podía repetir sus propias acciones perfectamente (320 de 320 veces), pero una versión comercial y alojada no podía (319 de 320, y 959 de 960). La IA estaba tomando decisiones defendibles, pero el banco no podía probar exactamente cómo lo hizo porque las herramientas para repetir la decisión habían desaparecido.

Segundo, el artículo analizó qué sucede cuando añades más robots al equipo. Imagina a un robot haciendo el trabajo frente a un equipo de 50 robots pasándose notas entre sí. El investigador descubrió que añadir más robots no solo hizo que el sistema fuera más complejo; de hecho, cambió las regas del juego sin que nadie se diera cuenta. Es como una carrera de relevos donde el testigo se pasa tantas veces que el corredor en la línea de meta no tiene idea de quién empezó la carrera. En estas configuraciones de múltiples agentes, la decisión final (el veredicto) puede parecer estable, pero el camino para llegar allí fue un caos. De hecho, el estudio encontró que a medida que el equipo crecía, la IA empezaba a tomar la misma decisión para cada caso, solo para estar segura. Era como un estudiante que, al estar confundido, simplemente escribe "no sé" en todas las preguntas del examen. La IA parecía súper fiable porque daba la misma respuesta una y otra vez, pero había dejado de pensar realmente en las diferencias entre los casos. El artículo llama a esto "reproducibilidad de resultados degenerados": parece estable, pero en realidad está roto porque ha dejado de distinguir entre diferentes situaciones.

Finalmente, el investigador probó un modelo de crédito simple y transparente (uno que no es una "caja negra" en absoluto) para ver si el problema era solo la complejidad de la IA. Utilizó dos versiones del mismo modelo, una antigua y una nueva. Aunque el nuevo modelo era casi idéntico al antiguo, cambió la decisión en 23 de las 1,937 solicitudes de préstamo. Un solicitante fue rechazado por el modelo antiguo pero remitido para revisión humana por el nuevo, solo porque la puntuación se movió por una fracción mínima. Lo aterrador es que, si intentas reproducir la decisión antigua usando el modelo nuevo, no puedes. El nuevo modelo es perfectamente estable por sí mismo, pero no puede recrear la historia del anterior. Es como si reescribieras una receta con un pequeño cambio en la cantidad de sal, y de repente el pastel sabe diferente, pero ya no puedes volver a probar el pastel original porque tiraste la receta antigua.

Entonces, ¿qué significa todo esto? El artículo sugiere que no podemos limitarnos a confiar en que la IA haga su trabajo y esperar lo mejor. No podemos asumir que porque una IA es inteligente, también es responsable. El autor propone una nueva forma de pensar llamada delegación contingente a la evidencia. Esto significa que solo debemos permitir que los agentes de IA tomen decisiones importantes siempre y cuando podamos mantener un "paquete de evidencia" perfecto e ininterrumpido que demuestre exactamente cómo lo hicieron. Si la IA cambia su cerebro, o si las herramientas que utiliza cambian, o si el equipo de robots se vuelve demasiado grande y desordenado, tenemos que detenernos y decir: "Espera, ya no podemos probar esto". Podríamos necesitar ralentizar el proceso, llevar registros más detallados o que un humano intervenga para supervisar el trabajo. El artículo no dice que la IA sea mala; dice que para que la IA sea verdaderamente útil en las finanzas, necesitamos asegurarnos de que siempre podamos mirar atrás y decir: "Sí, esto es exactamente cómo sucedió", incluso si el robot ya ha pasado a la siguiente tarea. Sin esa prueba, el robot podría estar pilotando la nave, pero nosotros seremos los responsables si se estrella.

Resumen Técnico: Gobernanza de la IA Agéntica en FinTech

Declaración del Problema
Las instituciones financieras están delegando cada vez más decisiones trascendentales (por ejemplo, la denegación de crédito, la ejecución de operaciones comerciales) a sistemas de IA agéntica. A diferencia de los modelos tradicionales que generan predicciones o contenido, los sistemas agénticos interpretan objetivos, los descomponen en subtareas, coordinan herramientas y memoria, y actúan con una supervisión humana mínima. El desafío central de gobernanza identificado no es meramente la opacidad de "caja negra" de los Modelos de Lenguaje Extensos (LLM), sino la pérdida de reproducibilidad como salvaguarda primaria.

El artículo sostiene que la restricción vinculante para la gobernanza de la IA agéntica no es la capacidad, sino la verificabilidad. Cuando un agente actúa de forma autónoma, la institución sigue siendo legal y operativamente responsable. Sin embargo, la naturaleza distribuida de los sistemas agénticos (que abarca modelos, herramientas, memoria, orquestación e infraestructura del proveedor) crea una Brecha de Verificabilidad. Esta brecha se define como el déficit positivo entre la verificación exigida por la autoridad delegada y la explicabilidad y reproducibilidad retenidas tras una decisión específica. El documento postula que los remedios empíricos actuales (volver a ejecutar modelos) pueden ya no funcionar porque las versiones lanzadas por los proveedores alteran las acciones históricas, los controles de ejecución (como la temperatura y las semillas aleatorias) son retirados, y las arquitecturas de orquestación introducen capas de política latentes que cambian las reglas de decisión sin actualizaciones explícitas.

Metodología
La investigación emplea un marco teórico combinado con tres pruebas de mecanismos controlados. Los estudios no estiman la prevalencia a nivel poblacional, sino que aíslan mecanismos específicos que erosionan la capacidad de verificación.

Construcción Teórica: El autor define la Brecha de Verificabilidad ( $G_{dq}$ ) matemáticamente como la diferencia entre la verificación requerida por la autoridad delegada ( $\rho_\sigma(A_d)$ ) y la capacidad de verificación retenida ( $V_{dq}$ ). Introduce la dependencia serial como un mecanismo arquitectónico clave donde los traspasos causalmente materiales entre agentes pueden comprimir la evidencia, haciendo que la reconstrucción de extremo a extremo sea imposible incluso si los agentes individuales son estables.
Estudio 1 (Dominio del Proveedor): Este estudio examina el impacto de los cambios por parte del proveedor en la reproducibilidad. Utiliza 32 casos financieros construidos a través de cuatro lanzamientos fechados de los modelos Claude Opus de Anthropic durante 185 días. Prueba tres condiciones:
- Cronología de lanzamiento: Comparación de veredictos modales entre lanzamientos con fechas distintas.
- Control de decodificación: Variación de la disponibilidad de temperatura y semilla aleatoria (fijada vs. retirada) en un modelo local.
- Entorno de ejecución: Comparación de la ejecución local frente a endpoints alojados con controles fijados.
Estudio 2 (Orquestación y Arquitectura): Este estudio aísla el efecto de la orquestación multi-agente. Utilizando un modelo servido localmente (llama3.2:3b) y los mismos 32 casos, realiza un barrido de configuraciones de 1 a 50 agentes. Mide la reproducibilidad del resultado actual, la reproducibilidad exacta de la traza y la diferenciación de veredictos (la capacidad de distinguir entre casos) para detectar el "colapso de salida".
Estudio 3 (Fidelidad Histórica en Modelos Deterministas): Para separar la estocasticidad generativa de los efectos de actualización del modelo, este estudio utiliza dos versiones preservadas de un modelo de crédito logístico transparente entrenado con el conjunto de datos FICO HELOC. Prueba si un modelo actual puede reproducir una decisión histórica tomada por una versión anterior, incluso cuando el rendimiento agregado (AUC) se mantiene estable.

Contribuciones Clave
El artículo realiza tres contribuciones primarias a la investigación en Sistemas de Información (IS) y FinTech:

La Verificabilidad como una Relación Autoridad–Evidencia: Replantea la gobernanza de la transparencia del modelo a la verificabilidad del sistema. La Brecha de Verificabilidad no es una propiedad general de un modelo, sino un déficit específico para un episodio de decisión, dependiente del verificador, el estándar de evidencia y el desfase de auditoría.
Teoría de Gobernanza Multinivel: Propone siete proposiciones que describen cómo la brecha se manifiesta a nivel de empresa (restringiendo la delegación defendible), nivel regulatorio (pérdida de fidelidad histórica debido a cambios no fijados) y nivel de red (fallos de auditoría sincronizados mediante proveedores compartidos).
La Reproducibilidad como un Perfil de Gobernanza: Argumenta en contra del uso de una única métrica escalar para la reproducibilidad. En su lugar, define un perfil que comprende cuatro objetivos:
- Reproducibilidad del resultado actual: Estabilidad del sistema actual.
- Reproducibilidad del resultado histórico: Capacidad de recuperar decisiones pasadas.
- Reproducibilidad del proceso material: Reconstrucción de la ruta de decisión.
- Reproducibilidad de la traza exacta: Identidad del registro completo de ejecución.
  Introduce la diferenciación de veredictos como un diagnóstico para identificar la estabilidad "degenerada" donde los sistemas dejan de distinguir casos.

Resultos

Estudio 1 (Control del Proveedor): Los lanzamientos de los proveedores alteraron acciones financieras históricas (por ejemplo, cambiando decisiones de trading de "comprar" a "mantener") incluso cuando la institución no realizó cambios. Crucialmente, los proveedores retiraron los controles de ejecución (temperatura, top_p, top_k) y nunca expusieron las semillas aleatorias. Mientras que un modelo local con controles fijados reprodujo 320/320 ejecuciones, los modelos alojados fallaron en reproducir 1/320 y 1/960 ejecuciones respectivamente, incluso bajo los controles más estrictos disponibles. Esto demuestra que las instituciones no pueden garantizar la reproducibilidad si no poseen la superficie de control.
Estudio 2 (Orquestación): Cambiar la arquitectura de una sola llamada a un pipeline multi-agente alteró la regla de decisión operativa (los veredictos modales coincidieron en solo 16/32 casos). Mientras que la reproducibilidad de la traza exacta fue cero en todas las configuraciones (ninguna ejecución repitió su registro completo), la reproducibilidad del resultado actual pareció recuperarse en escalas mayores (40–50 agentes). Sin embargo, esta recuperación coincidió con un colapso en la diferenciación de veredictos (la DV cayó a 0.086), indicando que el sistema estaba optando por acciones genéricas (por ejemplo, "denegar" o "escalar") en lugar de tomar decisiones matizadas. La capacidad compra un punto de partida más alto, pero no compra auditabilidad.
Estudio 3 (Fidelidad Histórica): Dos modelos de crédito deterministas con un rendimiento agregado casi idéntico (AUC ~0.79) produjeron acciones diferentes para 23/1,937 casos tras una actualización. Un caso específico (índice 2270) cambió de "denegar" a "referir" debido a un cambio mínimo en la puntuación que cruzó un umbral de política. El modelo actual reprodujo perfectamente su propia decisión de "referir", pero nunca pudo recuperar la "denegación" histórica. Además, las explicaciones generadas por el modelo actual fueron fieles a la decisión actual, pero no fueron evidentemente responsivas a la histórica.

Significancia y Reivindicaciones
El artículo sostiene que la delegación contingente a la evidencia es la respuesta de gobernanza necesaria. La autoridad autónoma es defendible solo mientras la evidencia retenida pueda sustentar su ejercicio. Los hallazgos sugieren que:

Los registros estáticos son insuficientes: Las instituciones deben preservar "paquetes de evidencia ejecutables" (entradas, versiones de modelos, estados de herramientas y reglas de política) para permitir la reproducción histórica.
La orquestación es una capa de política: Los cambios arquitectónicos (añadir agentes, cambiar la topología) pueden alterar las decisiones financieras sin actualizaciones de política explícitas, actuando como una capa de política latente.
Las métricas de estabilidad son engañosas: Una alta reproducibilidad de resultados puede enmascarar un "colapso de salida" (pérdida de discriminación) o un "desacoplamiento de traza" (veredictos estables con rutas no reproducibles).
La dependencia del proveedor crea riesgo sistémico: Las actualizaciones de proveedores compartidos pueden causar fallos de auditoría sincronizados en la red financiera, y las instituciones no pueden preservar unilateralmente los controles necesarios para la reproducción.

El artículo concluye que la supervisión humana debe ser contingente a la evidencia. Si la capacidad de verificación retenida cae por debajo del estándar requerido por la autoridad delegada (debido a la deriva del modelo, cambios de orquestación o pérdida de controles), las instituciones deben contraer la autonomía, fortalecer la retención de evidencia o derivar las decisiones a una revisión humana sustantiva. El objetivo no es la máxima autonomía, sino la autonomía defendible.

Resumen Técnico: Gobernanza de la IA Agéntica en FinTech

Más como este