🤖 AI

The Two Boundaries: Why Behavioral AI Governance Fails Structurally

Este artículo sostiene que la gobernanza conductual de la IA falla estructuralmente porque es indecidible verificar los efectos de programas arbitrarios frente a políticas (según el teorema de Rice), y propone la «gobernanza coextensiva» —una separación arquitectónica de la computación respecto a sus efectos, donde la gobernanza se integra en el pipeline de ejecución— como la única solución para eliminar los riesgos y las ineficiencias inevitables provocados por el desalineamiento entre los límites de capacidad y los de política.

Autores originales: Alan L. McCann

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Alan L. McCann

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema Central: La Desincronización de las "Dos Fronteras"

Imagina que tienes un robot muy poderoso capaz de hacer casi cualquier cosa: enviar correos electrónicos, mover dinero o modificar registros de bases de datos. Para mantenerlo seguro, levantas una cerca (gobernanza) para indicarle qué le está permitido hacer.

El artículo argumenta que, en casi todos los sistemas de IA construidos hoy, existen dos cercas diferentes que no coinciden:

La Cerca de Capacidad (Lo que el robot puede hacer): Esto está determinado por las herramientas y el código del robot. Si el robot tiene una herramienta para enviar correos electrónicos, puede enviar correos electrónicos.
La Cerca de Reglas (Lo que el robot tiene permitido hacer): Esto está determinado por las normas de seguridad y los filtros que escribiste.

El Problema: Estas dos cercas casi nunca tienen el mismo tamaño ni la misma forma.

La "Zona de Riesgo" (Capacidad no gobernada): A veces el robot tiene una herramienta que puede usar, pero tus reglas no cubrieron esa herramienta específica. Es como si el robot tuviera una puerta trasera secreta de la que tu guardia de seguridad no sabe nada. El robot se escabulle y ocurren cosas malas.
La "Zona de Teatro" (Teatro de la Gobernanza): A veces tus reglas son muy estrictas respecto a cosas que el robot no puede hacer. Es como tener un guardia de seguridad que verifica si alguien "vuela" cuando el robot no tiene alas. Estás gastando energía vigilando cosas que no son posibles, mientras que los peligros reales (las puertas traseras) permanecen abiertas.

El artículo indica que intentar solucionar esto añadiendo más guardias o más reglas solo hace que el "Teatro" sea más grande y el "Riesgo" ligeramente más pequeño, pero nunca repara la brecha.

Por Qué No Puedes Simplemente "Vigilar" al Robot (El Problema Matemático)

Podrías pensar: "¿Por qué no construimos un monitor súper inteligente que vigile al robot y lo detenga si hace algo malo?".

El artículo utiliza una famosa regla matemática llamada Teorema de Rice para explicar por qué esto es imposible para una IA inteligente y flexible.

La Analogía: Imagina que intentas predecir el final de una película solo mirando el guion. Si la película es corta y sencilla, puedes adivinar el final. Pero si la película es una historia infinita y compleja que cambia según la audiencia, ningún algoritmo puede predecir el final con un 100% de certeza antes de que se proyecte la película.
El Resultado: Debido a que la IA es tan flexible (puede escribir su propio código y combinar herramientas de nuevas maneras), no puedes demostrar matemáticamente de antemano que una acción específica será segura. Solo puedes adivinar. Y como solo puedes adivinar, siempre habrá una posibilidad de que el robot haga algo malo que tu monitor no vio.

La Solución: El "Tomador de Pedidos" vs. El "Chef"

El artículo propone una solución estructural. En lugar de intentar vigilar al robot y detenerlo de hacer cosas malas, cambias cómo está construido el robot.

La Vieja Forma (Gobernanza Conductual):
El robot es un Chef que tiene acceso directo a la estufa, los cuchillos y el gas. Tú te paras junto a ellos con una libreta, gritando "¡Alto!" si intentan agarrar el ingrediente incorrecto.

Defecto: El Chef podría agarrar el gas antes de que puedas gritar, o podría encontrar una nueva forma de cocinar que no escribiste en tu libreta.

La Nueva Forma (Gobernanza Estructural / Gobernanza Coterminante):
Separas al Chef de la Cocina.

El Chef (Computación): A la IA solo se le permite pensar y escribir una receta (una "directiva"). No puede tocar la estufa, los cuchillos ni el gas. No tiene manos físicas.
El Tomador de Pedidos (Frontera de Gobernanza): Un sistema separado y estricto recibe la receta. Verifica: "¿Esta receta tiene los ingredientes correctos? ¿Es segura?".
- Si es así, el Tomador de Pedidos entra a la cocina y cocina la comida.
- Si no, el Tomador de Pedidos tira la receta a la basura.

Por qué esto funciona:

La IA no puede hacer nada malo porque literalmente no tiene las herramientas para tocar el mundo.
Cada acción individual debe pasar por el Tomador de Pedidos.
No hay "Zona de Riesgo" porque la IA no tiene puertas traseras secretas.
No hay "Zona de Teatro" porque el Tomador de Pedidos solo verifica recetas que realmente se pueden cocinar.

Por Qué el "Monitoreo" No es Suficiente

El artículo también explica por qué simplemente "registrar" o "grabar" lo que hace la IA no cuenta como gobernanza.

La Analogía: Imagina una cámara de seguridad en un banco. Si la cámara ve a un ladrón, graba el crimen. Pero la cámara no detuvo el robo.
Las Matemáticas: Si una cámara atrapa al 99% de los ladrones, eso suena genial. Pero si el banco tiene 1.000 transacciones al día, la probabilidad de que al menos un robo se escape por ese 1% de brecha es casi del 100%.
El Punto: Necesitas detener la acción antes de que ocurra, no solo registrarla después.

La Conclusión Fundamental

El artículo concluye que para gobernar verdaderamente la IA, no puedes simplemente añadir más filtros o reglas encima de los sistemas existentes. Tienes que reconstruir el sistema para que la IA solo pueda pedir cosas, y un guardián separado y estricto decida si esas cosas ocurren.

Si las fronteras coinciden: La IA es segura por diseño (Gobernanza Estructural).
Si las fronteras no coinciden: Siempre tendrás algún riesgo y algún esfuerzo desperdiciado, no importa cuántas reglas añadas (Gobernanza Conductual).

Los autores han demostrado esto matemáticamente utilizando código informático (Coq) para mostrar que este enfoque de "Tomador de Pedidos" es la única manera de garantizar que cada acción esté gobernada.

1. Declaración del Problema

El artículo aborda el fallo estructural fundamental en los marcos actuales de gobernanza de la IA respecto a los efectos de la IA (acciones realizadas en el mundo, como llamadas a API, escrituras en bases de datos e invocaciones de herramientas).

Las Dos Fronteras: Todo sistema con efectos posee dos fronteras distintas:
1. Frontera de Expresividad: Definida por la arquitectura del sistema (lenguajes, APIs, herramientas), representa todo lo que el sistema puede hacer.
2. Frontera de Gobernanza: Definida por políticas y monitoreo, representa todo lo que al sistema le está permitido hacer.
La Divergencia: En las implementaciones actuales, estas fronteras se definen de forma independiente, creando tres regiones:
1. Capacidad Gobernanada (Superposición): La única región funcional donde las capacidades están cubiertas por la política.
2. Capacidad No Gobernanada (Riesgo): Capacidades que el sistema puede realizar pero que carecen de cobertura de gobernanza (por ejemplo, exfiltración de datos a través de canales laterales no monitoreados).
3. Teatro de Gobernanza: Políticas que abordan capacidades que el sistema no posee (por ejemplo, filtrar números de tarjetas de crédito en correos electrónicos cuando el sistema no tiene acceso a datos de tarjetas de crédito).
El Problema Central: La gobernanza conductual (filtros de contenido, RLHF, monitoreo) intenta cerrar esta brecha añadiendo capas a posteriori. Sin embargo, dado que los agentes de IA tienen una expresividad dinámica y Turing-completa, la frontera de gobernanza nunca puede coincidir estructuralmente con la frontera de expresividad mediante medios conductuales por sí solos.

2. Metodología y Fundamento Teórico

El artículo emplea métodos formales y ciencia de la computación teórica para analizar el problema de la gobernanza.

Teorema de Rice (1953): La herramienta teórica central. El teorema de Rice establece que, para cualquier propiedad semántica no trivial de un programa Turing-completo, es indecidible si un programa arbitrario posee dicha propiedad.
- Aplicación: La propiedad "¿cumple el efecto de este programa con la política P?" es una propiedad semántica no trivial. Por lo tanto, ningún algoritmo puede decidir generalmente si un agente de IA Turing-completo arbitrario violará una política de gobernanza.
Verificación Formal: Las afirmaciones se mecanizan en Coq (454 teoremas en 36 módulos, cero lemas admitidos). Esto proporciona certeza matemática respecto a las propiedades estructurales de la solución propuesta.
Análisis Arquitectónico: El artículo contrasta los enfoques "conductuales" (análisis de salidas) con los enfoques "estructurales" (separación arquitectónica de responsabilidades).

3. Contribuciones Clave

A. La Imposibilidad de la Gobernanza Conductual de Efectos

El artículo demuestra que la gobernanza conductual es estructuralmente insuficiente para el control de efectos en sistemas Turing-completos.

Los filtros de contenido, el RLHF y la IA Constitucional operan sobre propiedades semánticas (lo que el modelo dice o intenta).
Dado que el espacio de acciones posibles es combinatorio y Turing-completo, los enfoques conductuales solo pueden producir aproximaciones (falsos positivos/negativos).
El monitoreo es insuficiente porque es un sistema separado; observa pero no controla, lo que conduce a brechas de cobertura inevitables que se compounding exponencialmente con el número de acciones.

B. La Alternativa Estructural: Separación de Computación y Efecto

El artículo propone un cambio arquitectónico radical: Separar la Computación del Efecto.

Capa de Computación: Código puro que produce directivas (datos estructurados que describen efectos previstos) pero no puede realizar E/S.
Frontera de Gobernanza: Una única capa obligatoria que recibe directivas, las valida contra la política (verificación sintáctica) y ejecuta el efecto.
Resultado: La gobernanza se convierte en una función de la directiva (sintaxis), no del programa (semántica). Dado que las directivas son datos estructurados, sus propiedades son decidibles por construcción.

C. Gobernanza Coterminante

El artículo define la Gobernanza Coterminante como el estado en el que la Frontera de Expresividad es igual a la Frontera de Gobernanza.

Definición: Un sistema satisface la gobernanza coterminante si (1) todo efecto expresable pasa a través de una frontera de gobernanza (Seguridad) y (2) los primitivos son lo suficientemente expresivos para apuntar a los cálculos deseados (Suficiencia).
Propiedades:
- Sin Región No Gobernanada: Nada escapa a la gobernanza por construcción.
- Sin Región de Teatro: Cada política corresponde a una capacidad real.
- Razonamiento Composicional: Si los componentes A y B están gobernados, su composición está automáticamente gobernada.
- Inteligibilidad Inherente: El registro de gobernanza es el propio registro de ejecución.

D. Consecuencias de Eficiencia

Gobernanza Conductual: Costo aditivo. Cada capa (filtro, monitor) añade latencia y cómputo proporcional al rendimiento ( $k \times$ rendimiento).
Gobernanza Estructural: Subsume la infraestructura. Las verificaciones de gobernanza son parte del pipeline de ejecución. El costo es lineal únicamente con el rendimiento, sin un sistema separado que mantener.
Datos Empíricos: En Apple Silicon, la sobrecarga de ejecución gobernada se midió en 0.23ms mediana (vs. 0.24ms para no gobernada), demostrando que la gobernanza estructural es indistinguible de la velocidad de ejecución nativa.

4. Resultados

Prueba Teórica: El teorema de Rice confirma que la gobernanza conductual de agentes Turing-completos es indecidible en el caso general.
Verificación Formal: Las pruebas en Coq demuestran que el "Principio de Separación" propuesto genera un sistema donde los teoremas de Seguridad y Suficiencia se cumplen, asegurando fronteras coterminantes.
Rendimiento: La gobernanza estructural introduce una latencia insignificante en comparación con las capas conductuales, las cuales escalan mal a medida que aumenta el número de capas de gobernanza.
Modos de Fallo: El artículo demuestra que, sin separación estructural, el "Riesgo" (capacidades no gobernadas) y el "Teatro" (políticas para capacidades inexistentes) son estructuralmente inevitables.

5. Significado e Implicaciones

Cambio de Paradigma: El artículo argumenta que la seguridad de la IA no puede lograrse "parcheando" arquitecturas existentes con más filtros o monitores. Requiere una re-arquitectura fundamental donde los efectos no sean capacidades directas del código, sino mediados a través de una frontera gobernada.
Distinción de Niveles: Aclara que la Gobernanza de Contenido (dar forma a lo que dicen los LLM) y la Gobernanza de Efectos (controlar lo que hacen los agentes) son problemas distintos que requieren mecanismos diferentes. La gobernanza de contenido es conductual; la gobernanza de efectos debe ser estructural.
Política vs. Aplicación: El artículo enfatiza que la gobernanza estructural garantiza la aplicación de una política con certeza matemática, pero no garantiza la corrección de la política en sí misma. El diseño de políticas sigue siendo un problema de juicio humano.
Limitaciones Prácticas: El enfoque requiere una re-arquitectura completa de los marcos de agentes existentes (que actualmente mezclan E/S y lógica). No puede adaptarse como una biblioteca. También impone una disciplina a los desarrolladores (computación pura vs. directivas) que podría afectar la velocidad de prototipado.

Conclusión

"The Two Boundaries" concluye que, para sistemas de IA con agencia, la seguridad estructural es el único camino hacia un riesgo residual cero. Los enfoques conductuales pueden reducir el riesgo, pero no pueden eliminar la "región no gobernada" debido a la indecidibilidad de las propiedades semánticas en sistemas Turing-completos. La Gobernanza Coterminante, lograda separando la computación del efecto, es el criterio arquitectónico necesario para garantizar que cada acción que una IA realiza esté gobernada de manera demostrable.