Resumen Técnico: Los prompts para LLMs en el sector público deben gobernarse como bienes comunes

1. Planteamiento del problema

Las instituciones públicas despliegan cada vez más modelos de lenguaje de gran tamaño (LLM) para tareas administrativas como la redacción, el resumen y el triaje de servicios. En estos contextos, los prompts funcionan no meramente como entradas transitorias, sino como una "capa de política" configurable que codifica instrucciones de rol, marcos de decisión y reivindicaciones de valores. El artículo sostiene que los marcos de gobernanza actuales son insuficientes porque se centran en artefactos ascendentes (pesos del modelo, datos de entrenamiento) y en la alineación descendente (restricciones de post-entrenamiento), mientras dejan opacos los conjuntos específicos de prompts utilizados en el despliegue.

Consecuentemente, las elecciones de prompts suelen circular informalmente entre equipos y proveedores sin una revisión formal. Cuando un solo prompt se convierte en el predeterminado, sus supuestos implícitos se confunden frecuentemente con propiedades inherentes del modelo o decisiones de política fijas, lo que los vuelve incontestables y no auditables. Esta falta de transparencia impide que las instituciones públicas gestionen los dilemas de valores locales o exijan responsabilidades a las partes interesadas por configuraciones de despliegue específicas.

2. Solución propuesta: Prompt Commons (Bienes Comunes de Prompts)

Los autores proponen Prompt Commons, un marco de gobernanza que trata las plantillas de prompts como "artefactos gobernados" mantenidos en un repositorio gestionado por la comunidad. Este enfoque adapta los principios de la gobernanza de bienes comunes digitales (Ostrom, 1990) y las prácticas de código abierto al nivel del prompt.

Elementos centrales de diseño

• Estructura del repositorio: Los prompts se almacenan como texto plano con identificadores de versión. Cada entrada incluye metadatos de procedencia (grupos de autores, localización, reivindicaciones de valores pretendidas, niveles de consentimiento) y un registro de cambios auditable.
• Estados de gobernanza: El marco define tres estados ejecutables para los lanzamientos de prompts:
  1. Abierto (Open): Cualquier contribuyente autenticado puede proponer prompts; la moderación se limita a spam y verificaciones de seguridad.
  2. Curado (Curated): Las fusiones requieren la revisión de un mantenedor, integridad de metadatos y adherencia a restricciones de inclusión (por ejemplo, cobertura mínima entre grupos demográficos).
  3. Con capacidad de veto (Veto-Enabled): Organizaciones representativas pueden señalar prompts como perjudiciales, activando un mecanismo de "cuarentena" que bloquea el lanzamiento hasta que se registre una revisión y resolución (aceptar, modificar o rechazar) en un plazo determinado.
• Agregación orientada a la negociación: En lugar de colapsar el desacuerdo en un solo prompt, el sistema trata los prompts como propuestas de las partes interesadas. Un prompt de agregación explícito instruye al modelo para identificar supuestos compartidos, hacer visibles los desacuerdos y proponer instrucciones de compromiso o alternativas clasificadas.
• Licenciamiento: Los prompts están sujetos a licencias (por ejemplo, Creative Commons o OpenRAIL) para gobernar la reutilización, la atribución y las obras derivadas entre agencias y proveedores.

3. Metodología: Banco de pruebas piloto

Para ilustrar la viabilidad de este marco, los autores realizaron un estudio piloto con socios comunitarios de una gran ciudad de América del Norte, incluyendo organizaciones de defensa de personas con discapacidad, apoyo a inmigrantes, servicios para personas mayores y organizaciones LGBTQ+.

• Recolección de datos: Los participantes redactaron 443 prompts humanos que describían escenas urbanas y valores. Estos fueron aumentados a 3,317 prompts mediante deduplicación, parafraseo preservador de valores y expansión de escenarios.
• Configuración experimental: El estudio utilizó un LLM de chat con ajuste de instrucciones fijo (temperatura 0, top-p 1) y un banco de 50 viñetas que involucraban compensaciones (trade-offs) en paisajes urbanos y espacios públicos.
• Métodos de comparación: Se evaluaron cinco métodos:
  • M0: Prompt base de un solo autor.
  • M1: Prompt muestreado de un bien común abierto.
  • M2: Prompts muestreados de un bien común curado (restricciones de inclusión).
  • M3: Prompts curados con mecanismos de veto y cuarentena.
  • M4: Un muestreo de ensamble orientado a la negociación que toma 6 prompts estratificados por grupo de autores, agregados mediante una instrucción versionada para proponer compromisos.
• Métricas:
  • Distribución de salida: Proporciones de etiquetas de "tránsito de vehículos", "transporte activo" y "mixto/compromiso".
  • Satisfacción de subgrupos: Calificaciones ciegas (escala 1–7) de 12 evaluadores de seis grupos demográficos.
  • Seguridad operativa: Tiempo de remediación de salidas sintéticas perjudiciales bajo diferentes flujos de gobernanza.

4. Resultados clave

Los resultados del piloto se presentaron como estadísticas descriptivas para ilustrar los efectos potenciales de las elecciones de gobernanza, no como afirmaciones causales generalizables.

• Distribución de salida: El baseline de un solo autor (M0) produjo un 24% de salidas de "mixto o compromiso". A través de los estados del bien común (M1–M3), esta tasa aumentó al 48–52%, lo que indica que la gobernanza de prompts puede cambiar las distribuciones de salida observables incluso con modelos e inputs fijos.
• Satisfacción de subgrupos: La puntuación media de aceptabilidad aumentó de 4.35 (M0) a 4.92 (M2) y 5.48 (M3). La dispersión de la satisfacción entre grupos (coeficiente de Gini) disminuyó de 0.096 a 0.043, sugiriendo resultados más equitativos bajo una gobernanza curada y con capacidad de veto.
• Eficiencia operativa: En un registro de incidentes sintéticos, el tiempo medio de remediación disminuyó significamente a medida que la gobernanza se volvió más estricta: de 30.5 horas (Abierto) a 11.8 horas (Curado) y 5.6 horas (Con capacidad de veto).

5. Significado y afirmaciones

El artículo posiciona a Prompt Commons como una evolución necesaria en la gobernanza de la IA en el sector público, argumentando que los prompts constituyen una "superficie de gobernanza" distinta que requiere versionado, licenciamiento y rendición de cuentas.

• Predicciones falsables: Los autores realizan tres afirmaciones específicas y testables:
  1. Los lanzamientos de prompts gobernados cambiarán las distribuciones de salida observables bajo modelos e inputs fijos.
  2. Los procedimientos de gobernanza cambiarán las métricas operativas, como el tiempo de remediación.
  3. La auditabilidad mejorará, medida por la trazabilidad de las salidas hacia versiones de prompts específicas.
• Transparencia procedimental: La contribución principal no es una mejora algorítmica específica, sino un cambio procedimental. Al hacer que los desacuerdos de los prompts sean legibles como propuestas competitas con justificaciones registradas, el marco permite la negociación sobre los marcos de valores en lugar de permitir que permanezcan implícitos u ocultos.
• Interoperabilidad: El marco está diseñado para interoperar con la gobernanza existente a nivel de modelo (por ejemplo, Model Cards, alineación), tratando la configuración del prompt como una capa adicional de control que las instituciones públicas pueden gestionar independientemente de los pesos del modelo.

6. Limitaciones y modestia

Los autores declaran explícitamente que el piloto es un "banco de pruebas ilustrativo y falsable" en lugar de una afirmación de efectos generales. El estudio está limitado por:

• El uso de un único modelo accedido vía API.
• Un banco de pruebas pequeño (N=50 viñetas).
• Un grupo de evaluadores limitado vinculado a un entorno de reclutamiento específico.
• Registros de incidentes sintéticos para pruebas de seguridad.

El artículo concluye que si las colecciones de prompts gobernadas no mejoran la auditabilidad, la contestabilidad o el desempeño de la respuesta ante incidentes en relación con las prácticas actuales, o si introducen nuevos daños no mitigados, la posición propuesta quedaría invalidada. El objetivo es establecer una agenda de investigación para la gobernanza en el nivel del prompt en lugar de declarar un problema resuelto.