Resumen Técnico: PAVE – Una Arquitectura Cognitiva para la Violación Legítima en Sociedades de Agentes Generativos

1. Declaración del Problema

Los agentes generativos basados en Modelos de Lenguaje Grande (LLM) han demostrado la capacidad de simular comportamientos humanos creíbles en entornos cooperativos. Sin embargo, su capacidad para razonar en escenarios donde la ruptura de reglas es necesaria —como evacuaciones por incendio, emergencias médicas o situaciones que implican autoridades en conflicto— sigue estando mal caracterizada. Las arquitecturas existentes, como los Agentes Generativos fundamentales de Park et al. [2023], se centran principalmente en el cumplimiento de normas y la cooperación. A menudo, no logran distinguir entre violaciones "convenientes" y violaciones "legítimas" impulsadas por la necesidad.

Los modelos actuales luchan con tres modos de fallo específicos:

1. Sobrecumplimiento: Los agentes siguen las reglas incluso cuando una emergencia real exige lo contrario (por ejemplo, esperar en un semáforo en rojo durante un incendio).
2. Sobreviolación: Los agentes rompen las reglas meramente por conveniencia o debido a la presión de los pares sin un desencadenante justificable.
3. Contagio Ilimitado: Los agentes copian las violaciones de otros hasta que romper la regla se convierte en la nueva norma, fallando en recuperar el cumplimiento de línea base una vez que el desencadenante cesa.

El desafío central no es la falta de reglas, sino el mecanismo mediante el cual los agentes ponderan esas reglas frente a la urgencia situacional, la autoridad y el contexto social.

2. Metodología: La Arquitectura PAVE

Para abordar estas brechas, los autores proponen PAVE (Percepción, Evaluación, Veredicto, Emulación), una arquitectura cognitiva de cuatro módulos diseñada para modelar el proceso de toma de decisiones para romper reglas de manera fundamentada. PAVE extiende el bucle de memoria-reflexión-planificación de Park et al. [2023] introduciendo módulos de razonamiento dedicados a la violación de reglas.

2.1 Los Cuatro Módulos

1. Percepción:

   • Función: Extrae un contexto estructurado del entorno antes de que comience el razonamiento.
   • Salida: Un objeto de contexto $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$.
   • Características Clave: Separa explícitamente la presencia de autoridad ($apres$) de la distancia ($dauth$). Etiqueta las señales situacionales ($ucue$) con tipo, distancia y severidad (1–100). Crucialmente, captura los comportamientos de los pares ($B_{peer}$) como una instantánea de la escena actual, evitando la acumulación a largo plazo de la influencia de los pares que podría sesgar al agente.

2. Evaluación:

   • Función: Convierte el contexto perceptual en cinco factores escalares distintos (1–100) que impulsan la decisión.
   • Factores:
     • $r$ (Riesgo): Probabilidad percibida de detección/sanción, ponderada por la distancia a la autoridad.
     • $p_{emp}$ (Expectativa Empírica): Proporción de agentes cercanos que cumplen actualmente.
     • $p_{norm}$ (Expectativa Normativa): Creencia del agente sobre lo que otros deberían hacer.
     • $b$ (Beneficio): Utilidad percibida de la violación (urgencia o necesidad).
     • $\ell$ (Legitimidad): La contribución central. Este escalar juzga si la situación merece la violación basándose en tres criterios estrictos: Necesidad (¿causaría el cumplimiento un daño real?), Proporcionalidad (¿es mínima la violación?) y Ausencia de Alternativas (¿existe una acción de cumplimiento con el mismo resultado?).

3. Veredicto:

   • Función: Decide cumplir o violar.
   • Mecanismo: La decisión está gobernada por una Puerta de Legitimidad Dura.
     • Si $\ell < \tau$ (donde $\tau$ es un umbral específico del agente elicito de su personaje), el veredicto debe ser cumplir, independientemente de un alto beneficio o bajo riesgo.
     • Si $\ell \ge \tau$, se permite al agente violar, siendo la decisión final influenciada por el riesgo, el comportamiento de los pares y el personaje.
   • Salida: Una decisión binaria ($y$), una justificación en lenguaje natural ($j$) y una puntuación de confianza ($\kappa$).

4. Emulación:

   • Función: Ejecuta el veredicto y propaga el resultado a la sociedad.
   • Delimitación de la Acción: Al violar, el agente rompe solo la regla específica justificada por el desencadenante (por ejemplo, cruzar un semáforo en rojo para escapar de un incendio, pero no robar una bicicleta).
   • Propagación del Resultado: Actualiza la memoria del agente actuante y siembra el contexto perceptual de los agentes cercanos. Esto permite que la influencia de los pares ($p_{emp}$) se actualice, pero la Puerta de Legitimidad en el siguiente ciclo asegura que la presión de los pares elevada no pueda forzar una violación a menos que la situación en sí misma sea legítima.

2.2 Entorno Experimental: VOVILLE

Los autores instanciaron PAVE en VOVILLE, un entorno de tráfico basado en baldosas derivado del entorno de pruebas Smallville.

• Características: Incluye señales de tráfico configurables, calles de un solo sentido y peligros (incendios) y autoridades (agentes de tráfico) scriptados.
• Agentes: 10 agentes PAVE (8 asistentes de cafetería, 2 transeúntes) y NPCs scriptados (cómplices, agentes).
• Escenarios:
  1. Evacuación por Incendio (Sin Autoridad): Prueba si los agentes violan para escapar y recuperan el cumplimiento una vez que el incendio termina.
  2. Evacuación por Incendio (Con Autoridad): Prueba la deferencia hacia los agentes y la supresión espacial de las violaciones.
  3. Presión de Pares (Cruce Ilegal): Prueba la resistencia a la imitación cuando los pares violan bajo presión de tiempo pero sin emergencia.

3. Contribuciones Clave

1. Arquitectura PAVE: Un marco cognitivo novedoso que modela conjuntamente la violación de reglas desencadenada por emergencias, el contagio entre pares y la supresión por autoridad, yendo más allá de tratar la violación como un resultado emergente incidental.
2. Entorno VOVILLE: Un entorno de simulación anclado espacialmente que permite eventos de cumplimiento y violación físicamente observables, distinto de las simulaciones puramente conversacionales.
3. Caracterización Empírica: A través de estudios de ablación en tres escenarios, cinco condiciones y cuatro bases de LLM (GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini), los autores caracterizan las condiciones específicas bajo las cuales los agentes violan o suprimen la ruptura de reglas.

4. Resultados

La evaluación se centró en cuatro propiedades: Violación Legítima (P1), Deferencia a la Autoridad (P2), Recuperación del Cumplimiento (P3) y Alcance Acotado (P4).

• Violación Legítima (P1): Los agentes PAVE violaron solo cuando un desencadenante (por ejemplo, un incendio) lo justificaba. En el escenario "Cruce Ilegal", los agentes PAVE resistieron la imitación de pares (tasa de violación 0.04) en comparación con los agentes Vanilla (0.58), ya que el desencadenante "llegar tarde" falló en la comprobación de legitimidad.
• Deferencia a la Autoridad (P2): Los agentes deferieron a las instrucciones de los agentes incluso cuando su puntuación interna de legitimidad ($\ell$) era alta. En intersecciones supervisadas, el cumplimiento fue de 0.94. Las tasas de violación disminuyeron significativamente con la proximidad del agente (0.05 dentro de 3 baldosas vs. 0.65 más allá de 12 baldosas), reproduciendo patrones de policía humana.
• Recuperación del Cumplimiento (P3): Los agentes volvieron al cumplimiento de línea base dentro de ~4 ticks al salir del radio del incendio. Los efectos de la autoridad no persistieron; una vez que el agente se fue o el incendio terminó, los agentes volvieron al comportamiento estándar.
• Alcance Acotado (P4): Las violaciones se confinaron a la regla objetivo. Las violaciones de reglas no relacionadas (por ejemplo, entrar en edificios privados) permanecieron cerca de cero (0.02), mientras que los agentes Vanilla mostraron tasas altas (0.31).

Hallazgos de Ablación:

• Eliminación de la Puerta de Legitimidad: Sin la puerta, los agentes PAVE se comportaron como agentes "Vanilla" en cuanto a violaciones impulsadas por conveniencia. La tasa de violación para reglas no relacionadas saltó de 0.02 a 0.21, y la conversión impulsada por pares aumentó de 0.04 a 0.39.
• Línea Base Vanilla: Los agentes Vanilla fallaron principalmente debido a un "cuello de botella de importancia". El mecanismo subyacente de puntuación de importancia (Park et al.) priorizaba la rareza social sobre el peligro físico. En consecuencia, un incendio a menudo se calificaba con la misma importancia que un semáforo en rojo rutinario, lo que llevaba a una subreacción (fallo en la evacuación) o reacciones sin delimitación.

Evaluación Humana:
Los evaluadores humanos calificaron a los agentes PAVE significativamente más alto (5.78/7) que a los agentes Vanilla (3.42/7) en plausibilidad, particularmente en la saliencia de las señales y el juicio de legitimidad.

5. Significado y Afirmaciones

El artículo afirma que PAVE proporciona una solución estructural a la tubería de toma de decisiones de los agentes generativos. Su significado radica no en el resultado (agentes evacuando un incendio), sino en el mecanismo:

• Diferenciación de Motivos: PAVE separa con éxito la "conveniencia" de la "legitimidad", asegurando que las violaciones ocurran solo cuando se cumplen la necesidad, la proporcionalidad y la falta de alternativas.
• Escalabilidad del Razonamiento: La arquitectura permite variación a nivel de agente (a través de umbrales elicidos $\tau$) mientras mantiene una puerta fundamentada contra la ruptura arbitraria de reglas.
• Resistencia a la Recuperación y al Contagio: El sistema demuestra que el tejido social puede recuperarse una vez que cesa un desencadenante y que los agentes pueden resistir el contagio impulsado por pares si la situación subyacente carece de legitimidad.

Los autores notan modestamente las limitaciones: las reglas se especifican manualmente en lugar de aprenderse, y el estudio se centra en escenarios de un solo desencadenante sin autoridades en disputa o violaciones coordinadas de múltiples agentes. Sin embargo, afirman que los patrones de distancia de supresión y la recuperación interdiaria observados en VOVILLE reproducen estudios de campo humanos (por ejemplo, Koper [1995]) sin estar explícitamente dirigidos a hacerlo, lo que sugiere que la arquitectura captura dinámicas fundamentales de la ruptura de reglas en entornos relevantes para la seguridad.