Resumen Técnico: Green SARC

Planteamiento del Problema

El centro de costos de la inteligencia artificial se ha desplazado desde el entrenamiento de diseño fijo hacia las trayectorias de inferencia estocástica en sistemas agénticos. A diferencia de las llamadas API clásicas con costos acotados, los flujos de trabajo agénticos involucran secuencias dinámicas de llamadas al modelo, invocaciones de herramientas y reintentos, lo que provoca que el consumo de tokens y los costos asociados (financieros y de carbono) varíen en órdenes de magnitud incluso para tareas idénticas.

Las estrategias de mitigación actuales —auditoría post-hoc y política como código evaluada junto al bucle del agente— sufren un defecto fundamental: evalúan las restricciones después o al lado de la ejecución. Un exceso de presupuesto detectado al final del mes no puede "des-gastar" tokens; un exceso de carbono registrado en un tablero no puede "des-emitir" carbono. El artículo sostiene que una gobernanza efectiva requiere que las restricciones se impongan dentro del bucle de ejecución, prediciendo los costos antes de que las acciones se comprometan.

Metodología: Arquitectura Green SARC

Green SARC aplica el marco SARC (gobernanza por arquitectura) a FinOps y GreenOps. Trata las restricciones de costo y carbono como objetos de especificación de primera clase, aplicándolas en cuatro sitios específicos dentro del bucle del agente:

1. Puerta de Pre-Acción (Pre-Action Gate): La innovación central. En lugar de una regla estática, este sitio utiliza un pronóstico aprendido y calibrado para predecir el costo de tokens y el carbono de una acción propuesta. Admite una acción solo si el pronóstico se ajusta al presupuesto restante con un nivel de confianza especificado ($1-\delta$).
2. Monitor de Tiempo de Acción (Action-Time Monitor): Impone límites estrictos sobre el número de iteraciones y los costos marginales (disyuntores o circuit breakers) para detener bucles de reintento o de replanificación descontrolados.
3. Auditor Post-Acción (Post-Action Auditor): Registra los costos predichos frente a los reales para proporcionar una pista de auditoría y generar señales de entrenamiento para el estimador.
4. Enrutador de Escalamiento (Escalation Router): Dirige las tareas que agotan los presupuestos o los techos de carbono hacia la revisión humana o hacia alternativas deterministas.

Fundamentos Teóricos

• Teorema de la Nieve de Estado (State Snowball Theorem): El artículo formaliza que los bucles multi-agente ingenuos, donde cada paso vuelve a enviar el contexto acumulado completo, incurren en un costo de prompt acumulativo de $\Theta(n^2)$. El coeficiente principal es $p/2$, donde $p$ es el incremento de tokens por salto.
• Puerta Predictiva y Calibración: La puerta utiliza un estimador $\hat{f}_\theta$ entrenado en residuos históricos. Para garantizar la seguridad sin asumir una distribución de residuos específica, el artículo emplea predicción conforme dividida (split-conformal prediction). Esto proporciona una garantía de cobertura marginal de muestra finita e independiente de la distribución: la probabilidad de un exceso de presupuesto para una acción admitida está acotada por $\delta$.
• Seguridad Válida en Todo Momento (Anytime-Valid Safety): Utilizando la desigualdad de Ville y supuestos sub-gaussianos (o límites de Bernstein empíricos para datos reales de cola pesada), el marco proporciona un límite uniforme en el tiempo para el gasto acumulado a través de cualquier prefijo de trayectoria.
• Desacoplamiento: La arquitectura desacopla explícitamente la gobernanza de costos de la gobernanza de corrección. Un sistema puede ser seguro pero costoso, o barato pero inseguro; Green SARC gobierna el primero de forma independiente.

Principales Contribuciones

1. Teorema de la Nieve de Estado: Una prueba formal y confirmación empírica de que la acumulación de contexto no restringida conduce a un crecimiento de costo cuadrático, y que acotar el incremento por salto (mediante un Nodo Adaptador) colapsa esto a un crecimiento lineal.
2. Puerta Predictiva Calibrada: Una puerta en tiempo de ejecución que generaliza la contabilidad basada en reglas a pronósticos aprendidos, ofreciendo una garantía de seguridad independiente de la distribución mediante calibración conforme dividida.
3. Dominancia de la Frontera de Pareto: Evidencia empírica que muestra que la puerta arquitectónica domina a los enfoques de penalización suave (Lagrangiano). Mientras que las penalizaciones suaves ajustadas para coincidir con un presupuesto en promedio violan dicho presupuesto en aproximadamente el 91.5% de las semillas, la puerta arquitectónica viola el presupuesto en el 0% de las semillas mientras maximiza el trabajo completado.
4. Validación con Trazas Reales: La validación de cobertura con datos reales de ShareGPT (residuos no gaussianos) demuestra que las puertas Normal-$\sigma$ estándar sub-cubren en niveles de riesgo estrictos, mientras que la calibración conforme dividida mantiene la cobertura nominal.
5. Implementación de Código Abierto: Una biblioteca de Python sin dependencias (Fase 1) que implementa la arquitectura de cuatro sitios, incluyendo una puerta Normal-$\sigma$ y un calibrador conforme dividido opcional.

Resultados Experimentales

Evaluación Sintética (Carga de Trabajo IBP)

• Ablación: Descomposición de los ahorros por palanca (Alcance, Enrutamiento, Disyuntor).
  • Alcance (Nodo Adaptador): Impulsa la reducción de tokens (~43-55%) al limitar el crecimiento del contexto.
  • Enrutamiento: Convierte el ahorro de tokens en ahorros de USD y carbono al cambiar a modelos más eficientes, sin reducir adicionalmente el conteo de tokens.
  • Disyuntor (Circuit Breaker): Añade ahorros incrementales de tokens al terminar bucles descontrolados.
• Presupuestos Vinculantes: Bajo presupuestos estrictos (25% de la línea base), la puerta admite el 90% de los pasos con un 0% de incidencia de exceso de presupuesto, mientras que las penalizaciones suaves no logran completar las trayectorias sin violar el presupuesto.
• Calidad del Pronóstico: El estimador aprendido reduce el Error Absoluto Medio (MAE) de 4,000 tokens (arranque en frío) al nivel de ruido (34 tokens) en aproximadamente 20 observaciones.

Validación con Trazas Reales

• ShareGPT (Tráfico de Chat): Las conversaciones reales exhiben una curvatura de prompt acumulado negativa (cóncava), lo que significa que la "nieve de estado" $\Theta(n^2)$ es un artefacto de la orquestación ingenua, no una propiedad inherente del chat. Sin embargo, la puerta Normal-$\sigma$ sub-cubre en los residuos reales (sesgados, de cola pesada), mientras que la conforme dividida mantiene la cobertura nominal.
• BurstGPT (Tráfico de Producción): En 50,000 solicitudes reales de Azure OpenAI, el orden de las palancas (Alcance $\to$ Tokens, Enrutamiento $\to$ USD/Carbono) se mantiene. El disyuntor permaneció inactivo (sin tormentas de reintentos), confirmando que es una salvaguarda para escenarios de estrés de múltiples pasos.
• SWE-rebench (Agentes de Múltiples Pasos): En 3,000 planes de agentes reales resolviendo problemas de GitHub:
  • La Nieve de Estado se cumple: El 100% de los planes mostraron curvatura cuadrática positiva ($\hat{c}_2 > 0$), con una mediana de curvatura (216) que supera la predicción lineal (134).
  • El Disyuntor está activo: Se activó en el 11.4% de las trayectorias, proporcionando el ahorro marginal de tokens para todo el conjunto.
  • Compromiso Costo-Utilidad: La truncación agresiva de contexto ahorra tokens pero pone en riesgo la resolución de la tarea. Un límite "seguro" (2$\times$ la mediana) ahorró solo 2.3% de los tokens, mientras que un límite agresivo (0.5$\times$) ahorró 55% pero truncó el 100% de los planes en el peor de los casos.

Robustez Adversaria

• Relleno consciente del alcance (Scope-aware padding): Los atacantes pueden rellenar los prompts para quedar justo por debajo del límite para maximizar el trabajo legítimo; la puerta admite estos casos (limitación fundamental de la gobernanza de prompts acotados).
• Ataques para derrotar el pronóstico: Los ataques que inflan la finalización o reportan erróneamente los costos del modelo son detectados post-hoc por el Auditor, que registra las discrepancias y activa el escalamiento. La arquitectura depende del bucle "predecir-actuar-registrar-reentrenar" en lugar de una detección perfecta en el momento de la admisión.

Significancia y Reivindicaciones

El artículo afirma que Green SARC proporciona un cambio arquitectónico necesario para la gobernanza de la IA agéntica. Su importancia radica en:

1. Pasar de Post-Hoc a Predictivo: Cambiar el control de costos de la reconciliación a la predicción previa a la acción con garantías de seguridad calibradas.
2. Restricciones Duras vs. Penalizaciones Suaves: Demostrar que las penalizaciones finitas (relajación de Lagrangiano) no pueden sustituir a las restricciones de tiempo de ejecución en entornos estocásticos; solo una puerta arquitectónica puede garantizar el cumplimiento del presupuesto.
3. Seguridad Independiente de la Distribución: Probar que la predicción conforme es esencial para el despliegue en el mundo real donde los residuos no son gaussianos, asegurando que la promesa de seguridad se mantenga incluso cuando la distribución de los datos subyacentes cambia.
4. Modularidad: El marco es ortogonal a la gobernanza de corrección (SARC) y puede desplegarse independientemente para gestionar facturas de nube y huellas de carbono sin alterar la lógica central del agente.

Los autores señalan explícitamente las limitaciones: la implementación actual (Fase 1) utiliza un presupuesto de proceso único y una puerta Normal-$\sigma$ por defecto (con la conforme como opción). La "Nieve de Estado" se confirma como un modo de falla de la orquestación ingenua, no una propiedad intrínseca de la conversación. El artículo presenta estos hallazgos con modestia, reconociendo que el ahorro de tokens mediante el límite de alcance depende de la política y conlleva un compromiso con la utilidad de la tarea.