Resumen Técnico: Habilidades Contractuales – Un Marco de Diseño GovernSpec para Agentes de IA Empresarial

1. Definición del Problema

A medida que las aplicaciones de Modelos de Lenguaje Grande (LLM) evolucionan desde interacciones de un solo turno hacia sistemas de agentes empresariales de múltiples pasos, el mecanismo actual para empaquetar las capacidades de los agentes —las habilidades— enfrenta limitaciones significativas de gobernanza. Si bien las habilidades (típicamente archivos SKILL.md) proporcionan eficazmente instrucciones y contexto modulares, a menudo dependen de prosa informal para definir restricciones críticas.

En entornos empresariales, esta informalidad crea cinco limitaciones recurrentes:

1. Límites de Entrada Poco Claros: Las habilidades a menudo no definen las entradas requeridas, los comportamientos ante datos faltantes o las clases de privacidad, lo que conduce a salidas confiables basadas en un contexto incompleto.
2. Permisos Implícitos: Las reglas sobre acciones prohibidas (por ejemplo, prometer precios, eliminar archivos) están enterradas en el texto en lugar de estar estructuradas explícitamente, lo que facilita pasarlas por alto.
3. Puntos de Aprobación Humana Inestables: Los puntos de pausa críticos para la confirmación humana (por ejemplo, para descuentos o cambios de producción) no son identificados consistentemente por el modelo.
4. Política de Evidencia Débil: Las distinciones entre hechos, suposiciones e inferencias a menudo se pierden, lo que conduce a una certeza sin respaldo.
5. Expectativas de Salida Tácitas: Los criterios de aceptación, los requisitos de esquema y los pasos de verificación rara vez son explícitos, lo que causa desviación en la salida a través de tareas y modelos.

El documento argumenta que, aunque las barreras de seguridad en tiempo de ejecución y los adaptadores de herramientas imponen comportamientos, no reemplazan la necesidad de un contrato de tarea legible y revisable que alinee al modelo, a los mantenedores y a los evaluadores en los mismos límites semánticos.

2. Metodología: El Marco de Habilidades Contractuales

El documento propone Habilidades Contractuales, un marco de diseño que reorganiza los archivos SKILL.md utilizando una estructura de contrato de tareas estilo GovernSpec. Este enfoque preserva las propiedades de descubrimiento ligero y carga progresiva de las habilidades estándar, mientras introduce un modelo de campos estructurado para clarificar los límites de ejecución.

Principios de Diseño Central

• Límites Explícitos: Las reglas de alto riesgo (permisos, puertas humanas, evidencia) se trasladan de la prosa a campos dedicados.
• Separación de Responsabilidades: Las habilidades expresan la intención y la semántica; los adaptadores en tiempo de ejecución y las barreras de seguridad imponen el comportamiento.
• Adopción Gradual: Los equipos pueden reescribir las habilidades existentes en este formato e integrar posteriormente GovernSpec YAML para flujos de trabajo de alto riesgo.

El Modelo de Campos

El marco introduce un conjunto estandarizado de campos (resumidos en la Tabla 1 del documento) para estructurar el cuerpo de la habilidad:

• Objetivo y Audiencia: Define el objetivo de la tarea y el lector objetivo para evitar la desviación de objetivos.
• Entradas y Contexto: Especifica entradas requeridas/opcionales, rutas, clases de privacidad y distingue hechos de suposiciones.
• Permisos y Restricciones: Enumera explícitamente las herramientas, archivos y acciones de red permitidas/prohibidas.
• Puertas Humanas: Identifica las condiciones que requieren confirmación humana antes de proceder.
• Evidencia: Exige requisitos de fuente y marcado de incertidumbre.
• Salida y Umbral de Calidad: Define el formato, esquema, idioma y criterios para un resultado "bueno".
• Verificación y Traspaso: Incluye autoverificaciones previas al final y reglas para la escalada o transferencia a otros agentes/roles.

Diseño Experimental

El marco fue evaluado mediante dos experimentos offline que involucraron ocho modelos de generación (incluyendo GPT-5.5, DeepSeek-V4-Pro, Qwen3.6-plus y otros):

1. Experimento de Generación de Texto:

   • Alcance: Tres habilidades empresariales (crecimiento de ventas, contrato financiero, revisión de código-pro) en 15 tareas sintéticas.
   • Condiciones: Se compararon cuatro condiciones de instrucción: Sin Habilidad, Habilidad Mínima, Habilidad Expandida Simple (misma información que la contractual pero no estructurada) y Habilidad Contractual.
   • Métricas: Se generaron 960 salidas y se registraron 1.680 puntuaciones cruzadas entre jueces (utilizando evaluación cruzada de modelos para reducir el sesgo).

2. Desafío de Llamada a Herramientas:

   • Alcance: 192 registros simulados de llamadas a herramientas a través de ocho modelos.
   • Configuración: Los modelos enfrentaron herramientas de escritura de alto riesgo (simuladas como bloqueadas) y herramientas de solo lectura.
   • Métricas: Frecuencia de intentos de herramientas de alto riesgo y falsas afirmaciones de finalización después de llamadas bloqueadas.

3. Resultados Clave

Rendimiento en Generación de Texto

• Mejora de la Línea Base: Las habilidades contractuales lograron puntuaciones medias de modelo-juez más altas que las líneas base Sin Habilidad y Habilidad Mínima en los ocho modelos.
• Ganancia Estructural: En comparación con la Habilidad Expandida Simple (que contenía un volumen de información similar), las habilidades contractuales mostraron mejoras marginales en la puntuación (ligeramente superiores en seis modelos, ligeramente inferiores en dos).
• Interpretación: El valor principal del formato contractual no es hacer al modelo "más inteligente" en términos de calidad de generación bruta, sino producir salidas estables, inspeccionables y auditables.
• Verificabilidad: En la ejecución de GPT-5.5, la condición contractual logró una tasa de aprobación del 100% (30/30) en un verificador automático para las secciones requeridas, mientras que otras condiciones no lograron utilizar consistentemente las secciones estándar.

Seguridad en Llamada a Herramientas

• Reducción de Riesgo: Las habilidades generalmente redujeron los intentos de herramientas de alto riesgo en comparación con la condición Sin Habilidad. En la condición contractual, seis de los ocho modelos realizaron cero intentos de alto riesgo.
• Limitaciones: El efecto dependía del modelo. Algunos modelos (por ejemplo, claude-opus-4-7, Kimi-K2.6) aún realizaron intentos incluso con habilidades contractuales.
• Realidad de la Imposición: Ningún modelo afirmó falsamente la finalización después de una llamada bloqueada, pero el documento enfatiza que las habilidades no reemplazan las barreras de seguridad en tiempo de ejecución. El adaptador simulado bloqueó con éxito todas las acciones riesgosas, confirmando que la habilidad sirve como una capa de gobernanza para la intención, mientras que el adaptador impone la seguridad real.

4. Contribuciones

El documento hace cinco contribuciones específicas:

1. Definición: Define las habilidades contractuales como un patrón de organización estilo GovernSpec para archivos SKILL.md.
2. Modelo de Campos: Propone un modelo de campos específico para habilidades empresariales que cubre entradas, permisos, puertas humanas, evidencia, salida, verificación y traspaso.
3. Clarificación de Límites: Aclara los roles distintos de las habilidades contractuales frente a GovernSpec YAML, el Protocolo de Contexto de Modelo (MCP), adaptadores de herramientas y barreras de seguridad en tiempo de ejecución.
4. Evidencia Empírica (Texto): Informa sobre un experimento de generación de texto multi-modelo (960 salidas) que demuestra una mejor consistencia estructural y verificabilidad.
5. Evidencia Empírica (Herramientas): Informa sobre un desafío offline de llamada a herramientas (192 registros) que discute dónde los contratos a nivel de habilidad asisten o fallan en la mitigación de riesgos.

5. Significado y Afirmaciones

El documento mantiene una postura modesta sobre sus afirmaciones. Afirma explícitamente que las habilidades contractuales no hacen que un modelo sea inherentemente seguro ni reemplazan las verificaciones de permisos en tiempo de ejecución.

En cambio, el significado del marco radica en la gobernanza y la mantenibilidad:

• Explicitación: Transforma el conocimiento organizacional tácito (por ejemplo, "las ventas no pueden aprobar descuentos") en artefactos visibles y revisables.
• Alineación: Asegura que el modelo, el mantenedor y el evaluador se refieran a los mismos campos al definir entradas, permisos y criterios de aceptación.
• Gestión de Activos: A medida que las habilidades evolucionan desde fragmentos de indicaciones hasta activos organizacionales de larga duración, este marco proporciona un camino ligero para hacerlas revisables, reutilizables y probables sin requerir inmediatamente una plataforma de gobernanza a gran escala.

Los autores concluyen que las habilidades contractuales son más efectivas como una capa de gobernanza que hace explícitos la intención de la tarea, los límites y los criterios de aceptación, sirviendo como un complemento necesario, en lugar de un reemplazo, para los mecanismos de imposición en tiempo de ejecución.