Resumen Técnico: ¿Gobernanza de Prompts? Sobre el Gobierno de Tecnologías Gobernadas por el Lenguaje Natural

Planteamiento del Problema

Los sistemas de Inteligencia Artificial Generativa (GenAI), particularmente los Modelos de Lenguaje de Gran Tamaño (LLM), se operan cada vez más mediante instrucciones en lenguaje natural (prompts) en lugar de código formal. Las partes interesadas —incluyendo desarrolladores, implementadores y usuarios finales— utilizan instrucciones a nivel de sistema (por ejemplo, "Eres un asistente útil" o "Evita generar contenido que involucre figuras públicas reales") para definir restricciones, prioridades y reglas de cumplimiento. Los responsables políticos y reguladores (por ejemplo, en EE. UU. y la UE) han comenzado a tratar estos prompts de sistema como artefactos accesibles y gobernables, asumiendo que funcionan como controles de comportamiento fiables.

El problema central identificado es una desalineación significativa entre la suposición de política de que los prompts de sistema son mecanismos de control estables e interpretables y la realidad técnica de su fiabilidad. Existe una falta de evidencia sistemática sobre si las instrucciones en lenguaje natural operan con la consistencia suficiente a través de diversos contextos y entornos adversarios como para sustentar marcos de gobernanza. Depender del texto del prompt como un sustituto del control de comportamiento conlleva el riesgo de crear una "falsa sensación de control", donde la gobernanza se dirige a artefactos legibles en lugar de resultados operativos.

Metodología

Los autores emplean un enfoque de métodos mixtos que combina una revisión sistemática de la literatura con un análisis de políticas:

1. Revisión Sistemática de la Literatura (PRISMA):

   • Alcance: Una búsqueda de literatura académica de 2022–2025 centrada en Modelos de Lenguaje de Gran Tamaño (LLM) para aislar los efectos de las instrucciones de texto a texto.
   • Proceso: Partiendo de 923 registros identificados, los autores filtraron 746 resúmenes y realizaron revisiones de texto completo de 373 artículos, resultando en un corpus final de 287 artículos.
   • Análisis: Utilizando un análisis temático inductivo, los autores extrajeron afirmaciones relativas a los objetivos de las instrucciones a nivel de sistema. Estas afirmaciones fueron codificadas como "favorables" (que promueven un objetivo) o "críticas" (que obstaculizan un objetivo) y sintetizadas en una tipología.

2. Análisis de Documentos de Política:

   • Alcance: Una búsqueda de alcance sobre documentos de gobernanza en diversas jurisdicciones (EE. UU., UE, Reino Unido, Australia, Singapur) que aborden explícitamente las instrucciones a nivel de sistema.
   • Estudios de Caso: Se analizaron en profundidad dos marcos específicos:
     • EE. UU.: Orden Ejecutiva 14319 ("Prevención de la IA 'Woke' en el Gobierno Federal") y el Memorándum de la OMB sobre Principios de IA sin Sesgos.
     • UE: El Código de Prácticas de la IA de Propósito General (bajo la Ley de IA).
   • Objetivo: Identificar teorías implícitas de control dentro de estas políticas y compararlas con el estado de la evidencia técnica.

Contribuciones Clave

1. Una Tipología de Objetivos de Instrucción a Nivel de Sistema

La revisión de la literatura revela un panorama fragmentado con afirmaciones divergentes. Los autores los destilan en ocho categorías de objetivos distintas, divididas en Objetivos del Sistema (dirigidos al comportamiento de la IA) y Objetivos del Prompt (dirigidos al artefacto en sí):

• Objetivos del Sistema:

  • Alineación: Moldear el comportamiento para que refleje los valores de las partes interesadas (por ejemplo, seguridad, neutralidad). La evidencia es mixta; mientras algunos estudios muestran que los prompts reducen los resultados inseguros, otros resaltan la "falsificación de alineación" (alignment faking), la amplificación de sesgos y la incapacidad del lenguaje natural para garantizar la adherencia a valores específicos.
  • Accesibilidad: Hacer que el control sea accesible mediante lenguaje natural. Aunque los prompts son fáciles de editar, la literatura advierte que la legibilidad no equivale a predictibilidad, dejando a menudo a los usuarios "operando a ciegas".
  • Adaptabilidad: Reconfigurar modelos para dominios o personajes (personas). Las afirmaciones de alta adaptabilidad son contrastadas por la evidencia de personas "frágiles" y el olvido de instrucciones en contextos largos o conflictivos.
  • Rendimiento: Mejorar la precisión de las tareas. Aunque prompts específicos pueden potenciar el rendimiento, las ganancias dependen del contexto y a menudo son superadas por el ajuste fino (fine-tuning); los prompts largos pueden introducir latencia y degradar la calidad.
  • Estabilidad: Mantener un comportamiento consistente. La investigación indica que las instrucciones a menudo fallan en producir efectos estables en interacciones de múltiples turnos o cuando existen directrices conflictivas.
  • Seguridad: Proteger contra ataques o habilitarlos. Los prompts son de doble uso: pueden servir como mecanismos de defensa (barreras de seguridad o guardrails) pero también son vectores primarios para ataques de jailbreak y de extracción.

• Objetivos del Prompt:

  • Implementación: Métodos para la autoría y el mantenimiento de prompts (por ejemplo, generación humana vs. automatizada). La literatura señala riesgos en ambos: los prompts automatizados pueden derivar, mientras que la ingeniería humana carece de rutas de mejora sistemáticas.
  • Auditabilidad: Hacer que las instrucciones sean visibles y trazables. Los desafíos incluyen la falta de transferibilidad de los hallazgos de auditoría entre modelos y la dificultad de reconstruir versiones activas de prompts debido a las frecuentes iteraciones.

2. Análisis de Política y Desalineación

El análisis de los marcos de EE. UU. y la UE revela que los reguladores tratan los prompts de sistema como artefactos legibles que pueden ser divulgados e inspeccionados para asegurar el cumplimiento.

• Enfoque de EE. UU.: Trata la divulgación de prompts como evidencia permisible de alineación con los "Principios de IA sin Sesgos" (búsqueda de la verdad, neutralidad ideológica). Asume que escribir compromisos normativos en los prompts se traduce en un comportamiento consistente.
• Enfoque de la UE: Incorpora los prompts de sistema en las "especificaciones del modelo" para los evaluadores, asumiendo que el prompt es una representación significativa del comportamiento pretendido.
• La Brecha: Ambos marcos dependen de supuestos de estabilidad y control que no están consistentemente respaldados por la evidencia técnica. Las políticas suelen tratar los prompts como especificaciones estáticas en lugar de mecanismos evolutivos y estratificados sujetos a conflictos en la cadena de suministro y manipulación adversaria.

Resultados

• Evidencia Fragmentada: El panorama de investigación se caracteriza por afirmaciones contradictorias. Por cada estudio que demuestra que un prompt alinea exitosamente un modelo, otro suele mostrar que el mismo prompt falla bajo diferentes condiciones o es fácilmente eludido.
• La "Falsa Sensación de Control": Los enfoques de gobernanza que dependen de la inspección del texto del prompt corren el riesgo de regular lo que es legible en lugar de lo que es operativo. La traducción entre la interpretación lingüística humana y el procesamiento de la máquina es no trivial y propensa a la estocasticidad.
• Complejidad de la Cadena de Suministro: Las instrucciones de sistema existen en un "stack de prompts" que involucra a proveedores de modelos fundacionales, desarrolladores de aplicaciones y usuarios finales. Los conflictos entre estas capas (por ejemplo, una restricción de seguridad de un desarrollador frente a una anulación de un usuario) son a menudo invisibles para los reguladores, complicando la rendición de cuentas.
• Maleabilidad: Los prompts se actualizan, optimizan o reinyectan con frecuencia. Los requisitos de divulgación estática no logran capturar la naturaleza dinámica de estas instrucciones, lo que hace que las pistas de auditoría sean incompletas.

Significancia y Reivindicaciones

El artículo argumenta que gobernar la GenAI a través de instrucciones en lenguaje natural requiere un cambio fundamental de enfoque. Los autores no afirman que la gobernanza de prompts sea imposible, sino que actualmente está sobreestimada y sub-evidenciada.

• Postura Cautelosa: Escribir reglas que gobiernen a las máquinas requiere enfoques diferentes a los utilizados para gobernar a los humanos. La accesibilidad del lenguaje natural no garantiza su fiabilidad como mecanismo de control.
• Implicaciones para la Gobernanza:
  • Más allá del Cumplimiento Textual: La gobernanza debe ir más allá de la mera divulgación del texto del prompt. Requiere vincular los artefactos divulgados con la evidencia conductual y evaluar el "stack de prompts" como un todo.
  • Consideraciones Socio-Técnicas: La gobernanza debe dar cuenta de la naturaleza estratificada y de múltiples partes interesadas de las cadenas de suministro de IA y de la maleabilidad de las instrucciones.
  • Evitar la Expansión de Funciones (Function Creep): Existe el riesgo de expandir la gobernanza basada en prompts hacia tareas para las cuales no hay evidencia de fiabilidad (por ejemplo, alineación de valores complejos o censura).
• Conclusión: El artículo concluye que, si bien las instrucciones a nivel de sistema son una intervención omnipresente en el ecosistema de la IA, tratar los prompts como mecanismos de control estables e interpretables sin una evidencia conductual robusta conlleva el riesgo de crear una ilusión de cumplimiento. La gobernanza efectiva debe priorizar los resultados conductuales reales sobre los artefactos textuales de fácil producción.