Final Authority in AI Governance: Frontier-Provider Sovereignty and Action-Centered Deployer Governance

La gran lucha de poder de la IA: ¿Quién tiene el control remoto?

Imagina que acabas de construir un asistente robótico súper inteligente. Es tan listo que puede escribir código, reservar vuelos e incluso gestionar tu cuenta bancaria. Pero aquí está la parte difícil: una vez que dejas suelto a este robot en el mundo real, ¿quién tiene derecho a pulsar el botón de "Parar" si empieza a hacer algo extraño? Esta pregunta se encuentra en el corazón de un nuevo debate en el mundo de la gobernanza de la Inteligencia Artificial (IA).

Para entender la pelea, necesitamos conocer a dos personajes principales. Primero, está el Proveedor de IA, el brillante laboratorio o empresa que construyó el cerebro del robot. Ellos saben cómo funciona el cerebro, qué es capaz de hacer y dónde podría fallar. Segundo, está el Desplegador, la persona o empresa que realmente utiliza al robot para realizar trabajos reales, como gestionar un hospital o dirigir un banco. El Desplegador es quien tiene que lidpar con el desastre si el robot comete un error.

Durante un tiempo, mucha gente pensó que el Proveedor debería ser el jefe supremo. La lógica era sencilla: "Tú construiste el cerebro, así que tú debes controlar el cuerpo". Pero a medida que los robots empiezan a realizar tareas más complejas, una nueva idea está ganando fuerza. Sugiere que la persona que tiene el control remoto —la que sufre las consecuencias si las cosas salen mal— debería tener la última palabra sobre lo que el robot realmente hace. Esto no se trata de quién es más inteligente; se trata de quién es responsable.

---

La gran pregunta del documento: ¿Quién es el verdadero jefe?

Este documento, escrito por Zexun Wang, profundiza en un argumento muy específico sobre dónde debe residir la "autoridad final" una vez que los sistemas de IA están profundamente integrados en nuestro trabajo diario. El autor compara dos formas diferentes de pensar sobre quién debe estar al mando.

La primera idea: La regla del "Constructor del Cerebro" (Soberanía del Proveedor de la Frontera)
Imagina un fabricante de coches de carreras. Saben exactamente qué tan rápido puede ir el motor y dónde podrían fallar los frenos. La idea de la "Soberanía del Proveedor" dice que, debido a que la empresa de IA conoce mejor sus capacidades y peligros, ellos deberían ser quienes decidan cuándo es seguro dejar que la IA actúe. Actuarían como un estricto guardián, probando la IA y diciendo: "No, aún no puedes hacer eso", o "Sí, puedes ir". Esta es la visión de algunos grandes laboratorios de IA que argumentan que necesitan controlar el lanzamiento de sus modelos más potentes para evitar desastres.

La segunda idea: La regla del "Asiento del Conductor" (Soberanía del Desplegador Centrada en la Acción)
Ahora, imagina que eres el conductor de ese coche de carreras. Aunque el fabricante conozca mejor el motor, tú eres quien conduce en una pista específica, con tráfico específico, y eres quien chocará si golpea un muro. La idea de la "Svedad del Desplegador" sostiene que la decisión final sobre si una acción de la IA debe ocurrir pertenece a la organización que la utiliza. Si un banco utiliza una IA para aprobar un préstamo, o un hospital la utiliza para programar una cirugía, ese banco u hospital es quien tendrá que lidiar con las repercusiones legales y financieras. Por lo tanto, ellos deberían ser quienes den la señal final de "Siga" o "No siga".

Lo que el documento encuentra: El "Conductor" debe tener la última palabra

El autor analizó reglas y directrices de grandes lugares como la Unión Europea, EE. UU. (NIST), Singapur, Japón y Canadá. También observó cómo las empresas están utilizando la IA en la actualidad.

El documento sugiere que, si bien los constructores de IA (Proveedores) son definitivamente necesarios para establecer límites de seguridad y evitar que la IA haga cosas verdaderamente peligrosas, no deberían ser ellos quienes tomen cada una de las decisiones sobre lo que la IA hace en una empresa real.

He aquí por qué el documento se inclina hacia la regla del "Asiento del Conductor":

1. El factor "¿Quién paga?": Si una IA comete un error que le cuesta a una empresa millones de dólares o infringe una ley, la empresa (el Desplegador) es la que es demandada o multada, no la empresa de IA que construyó el modelo. El documento argumenta que la persona que paga el precio debe ser la que tiene las llaves.
2. El problema del "Conocimiento Local": Una empresa de IA en California puede saber que su modelo es inteligente, pero no sabe que un banco específico en Toronto tiene una regla contra el envío de datos a cierto país, o que un hospital específico tiene una política sobre la privacidad del paciente. El "Proveedor" no puede ver las reglas locales. Solo el "Desplegador" conoce el contexto específico.
3. La realidad del "Paquete Mixto": Las empresas de hoy utilizan IA de muchas fuentes diferentes. Pueden usar una IA para escribir correos electrónicos, otra para analizar datos y una tercera para el servicio al cliente. Si la empresa de IA intenta controlarlo todo, se vuelve caótico porque la empresa está utilizando una mezcla de herramientas. El documento sugiere que necesitamos un sistema donde la acción en sí misma (como "enviar este correo electrónico") lleve su propio permiso, sin importar qué herramienta de IA esté realizando el trabajo.

La solución propuesta: Acciones con "Prueba Portadora"

Para resolver esto, el documento señala un concepto llamado Acciones de Agente con Prueba Portadora (PCAA, por sus siglas en inglés). Piensa en esto como un pasaporte digital para cada acción que realiza una IA.

En lugar de simplemente confiar en que la empresa de IA diga "Es seguro", el sistema crea un certificado portátil para cada acción individual. Este certificado dice:

• "Esta acción fue revisada".
• "Esta acción fue aprobada por la persona adecuada en la empresa".
• "Aquí está la prueba de que siguió las reglas".

De esta manera, incluso si la empresa de IA cambia o la tecnología se actualiza, la empresa que utiliza la IA sigue teniendo un registro claro de quién autorizó qué. Mantiene el poder donde pertenece: con las personas que realmente están realizando el trabajo y enfrentando las consecuencias.

A lo que el documento dice "No"

El documento es cuidadoso en decir lo que no está argumentando.

• No dice que las empresas de IA deban ser ignoradas. Siguen siendo los expertos en si un modelo es peligroso en un sentido general. Siguen siendo ellos quienes deben decir: "Este modelo es demasiado riesgoso para lanzarlo en absoluto".
• No dice que las empresas tengan permitido hacer cualquier cosa que quieran. Los constructores de IA siguen estableciendo los límites de seguridad (como un límite de velocidad).
• No afirma que esto sea un problema resuelto o un sistema perfecto. El documento sugiere que esta es la mejor forma de manejar las cosas en este momento, dado lo desordenado y mixto que se ha vuelto el uso de la IA.

La conclusión

La idea principal es un enfoque de "capas". Piensa en ello como un edificio de dos plantas.

• El piso superior (El Proveedor): Aquí viven los constructores de IA. Ellos deciden si el edificio es seguro para entrar y si el ascensor puede subir a la azotea. Ellos gestionan los riesgos grandes y aterradores.
• La planta baja (El Desplegador): Aquí viven las empresas que utilizan la IA. Ellas deciden en qué habitaciones entrar, quién puede pasar por las puertas y qué sucede si alguien tropieza.

El documento argumenta que, durante mucho tiempo, la gente pensó que el Piso Superior debía controlar el Piso Inferior. Pero el autor sugiere que eso es como intentar que el fabricante de un coche le diga a un taxista exactamente qué giro tomar en cada intersección. El fabricante conoce el coche, pero el conductor conoce la carretera.

Al final, el documento sugiere que el futuro más sensato es uno donde los constructores de IA establezcan las reglas de seguridad, pero las empresas que utilizan la IA tengan la autoridad final para decidir qué acciones ocurren realmente, respaldadas por una prueba clara y portátil de que lo hicieron correctamente.