🤖 AI

Reasoning and Planning with Dynamically Changing Norms

Este artículo presenta un enfoque novedoso para guiar a agentes de IA en interacciones humano-IA mediante el empleo de un cálculo defeasible para resolver conflictos y utilizar normas dinámicamente cambiantes como barreras de seguridad durante la planificación, validado tanto mediante pruebas formales como mediante pruebas empíricas con un agente de diálogo denominado SocialBot.

Autores originales: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un asistente robótico muy útil que vive en la casa de un humano. Tu trabajo es hacer cosas por ellos, como compartir información o hacer planes. Pero aquí está el truco: los humanos cambian de opinión, y sus reglas para ti cambian con ellos.

Este artículo trata sobre enseñar a una IA a manejar esas reglas cambiantes sin confundirse ni romper la confianza.

El Problema: El "Libro de Reglas" que Sigue Cambiando

Piensa en las reglas de un humano como un libro de reglas vivo en lugar de una lista estática.

Día 1: Karli te dice: "Nunca muestres mis registros médicos a nadie".
Día 2: Se casa y dice: "Bien, puedes mostrarle mis recetas a mi esposo".
Día 3: Tiene hijos y dice: "Ahora debes decirle a mis hijos sobre mis condiciones de salud".

Si fueras un programa informático estándar, podrías quedarte atascado. Si solo siguieras la primera regla, herirías su confianza el Día 2 y el Día 3. Si solo siguieras la última regla, podrías haber violado la primera. El artículo pregunta: ¿Cómo se mantiene al día una IA con este objetivo en movimiento?

La Solución: "Barreras de Seguridad" y una "Calculadora Derrotable"

Los autores construyeron una IA llamada SocialBot para resolver esto. No solo le dieron al bot una lista de reglas; le dieron una forma especial de pensar llamada un "cálculo derrotable".

Así es como funciona usando analogías simples:

1. El Concepto de la "Barrera de Seguridad"

Imagina que la IA está conduciendo un coche. El "plan" es la ruta que quiere tomar. Las "normas" (reglas) son las barreras de seguridad a los lados de la carretera.

La IA no necesita estar motivada por las reglas para conducir; solo necesita revisar las barreras de seguridad antes de moverse.
Si la barrera de seguridad dice "No Cruces", el coche se detiene.
Si la barrera de seguridad dice "Puedes Cruzar", el coche avanza.
Crucialmente, estas barreras de seguridad pueden moverse o eliminarse instantáneamente si el humano lo dice.

2. La "Calculadora Derrotable" (El Cerebro)

Esta es la parte matemática que hace que las reglas funcionen. "Derrotable" es una palabra elegante para "puede ser anulada".

Piensa en ello como un tribunal legal dentro del cerebro del robot:

La Suposición por Defecto: El artículo dice que para cosas sensibles (como registros médicos), el robot debe asumir "No" por defecto. Es como un "Cierre Prohibitivo". Si no has dicho explícitamente "Sí", el robot asume "No" para estar seguro.
La Evidencia: Cuando un humano dice: "Puedes decirle a mi esposo", eso es nueva evidencia.
La Resolución de Conflictos: ¿Qué pasa si el humano dice: "No le digas a nadie" (Regla A) y luego dice: "Díselo a mi esposo" (Regla B)?
- La "calculadora" del robot mira las fechas. La Regla B es más reciente.
- Verifica el alcance. ¿Cubre la Regla B el mismo terreno que la Regla A? Sí.
- El Veredicto: La Regla B "derrota" (anula) la Regla A específicamente para el esposo. El robot ahora sabe: "No le digas a nadie excepto al esposo".

El artículo demuestra matemáticamente que este sistema evita que el robot piense que dos cosas contradictorias son verdaderas al mismo tiempo (por ejemplo, no pensará que compartir está "permitido" y "prohibido" simultáneamente).

El Experimento: SocialBot en Acción

Los investigadores probaron esto con SocialBot, un chatbot que habla con personas en Microsoft Teams.

La Configuración: Crearon un mundo falso con 1.536 escenarios diferentes. En estos escenarios, los usuarios dirían cosas como "Me gusta la pizza", luego "No le digas a nadie mis preferencias de comida", y luego "En realidad, puedes decirle a Bob sobre la pizza".
La Prueba: Una tercera persona (como "Sócrates") le preguntaría al bot: "¿Qué le gusta a Platón?"
El Resultado: El bot obtuvo 100% de aciertos.
- Si la regla era "No digas", el bot dijo: "No puedo decirlo".
- Si la regla se actualizó a "Díselo a Bob", el bot se lo dijo a Bob.
- Si la regla era "Díselo a Bob, pero no a Sócrates", el bot se lo dijo a Bob y se mantuvo en silencio con Sócrates.

Por Qué Esto Importa (Según el Artículo)

La mayoría de las IAs de hoy (como los grandes chatbots) pueden tener una conversación, pero pueden ser engañadas o manipuladas para romper reglas. No tienen una base sólida y matemática para por qué existe una regla o cómo actualizarla cuando un humano cambia de opinión.

Este artículo proporciona un plan para una IA que:

Escucha las reglas humanas.
Entiende que las reglas pueden ser excepciones a otras reglas.
Usa esas reglas como "barreras de seguridad" para detenerse de hacer algo que no debería, incluso si quiere hacerlo.

Lo Que No Hace (Los Límites)

Los autores son muy honestos sobre lo que su robot aún no puede hacer:

Solo maneja las reglas de una persona a la vez. No puede sopesar las reglas de la Persona A contra las de la Persona B (por ejemplo: "Mamá dice que digas, Papá dice que no").
Fue probado en un conjunto de datos sintético (conversaciones falsas), no en el drama humano complejo del mundo real.
Asume que el robot ya conoce los hechos básicos (como quién está casado con quién) para entender las reglas.

En resumen, este artículo enseña a una IA a ser un asistente leal pero flexible que respeta tus deseos cambiantes de privacidad, actuando como una barrera de seguridad inteligente que se mueve exactamente donde tú le dices.

Resumen Técnico: Razonamiento y Planificación con Normas Dinámicamente Cambiantes

Enunciado del Problema

A medida que los agentes de IA se integran en entornos sociales humanos, no solo deben aprender las normas humanas, sino también adaptar sus comportamientos de planificación para respetar las restricciones normativas que cambian dinámicamente. Si bien investigaciones anteriores han abordado el aprendizaje y el razonamiento de normas dentro de comunidades de agentes artificiales, la planificación guiada por normas en entornos humano-IA ha sido poco explorada, particularmente en lo que respecta a la naturaleza dinámica de las normas. Los enfoques existentes, como los Modelos de Lenguaje Grande (LLM), a menudo carecen de una base teórica para el razonamiento normativo y han demostrado ser susceptibles a la manipulación. Además, las normas humanas no son estáticas; evolucionan a través de nuevos testimonios (por ejemplo, un usuario que inicialmente prohíbe el intercambio de información y luego lo permite más tarde bajo condiciones específicas). El desafío central es proporcionar un mecanismo formal para que una IA resuelva conflictos entre estas normas en evolución y las utilice como "guardarríles" para restringir la planificación de acciones de manera segura.

Metodología

El artículo propone un enfoque formal basado en el cálculo de predicados y la lógica defeccible para modelar, razonar y planificar con normas dinámicamente cambiantes.

1. Representación Formal

Ontología: El sistema utiliza la ontología NextKB (derivada de OpenCyc) para representar el mundo. El conocimiento se contextualiza mediante microteorías, lo que permite al sistema rastrear las creencias específicas de diferentes agentes.
Marcos Normativos: El testimonio normativo (declaraciones en lenguaje natural que introducen normas) se codifica como Marcos Normativos. Un marco normativo consta de:
- contexto: Una conjunción de literales que deben ser verdaderos para que la norma esté activa.
- comportamiento: Una conjunción de literales que representa la acción.
- evaluación: Un operador deóntico ( $\in$ {Obligatorio, Opcional, Impermisible}).
Planes Guiados por Normas: Los planes se formalizan como Redes Jerárquicas de Tareas (HTN) donde las creencias normativas sirven como precondiciones (guardarríles). Un plan se ejecuta solo si las creencias normativas actuales del agente consideran la acción permisible.

2. Cálculo Defeccible para la Resolución de Conflictos

La contribución central es un cálculo defeccible que infiere las creencias normativas actuales de un agente a partir de un flujo de testimonios potencialmente conflictivos. El sistema resuelve los conflictos basándose en:

Ordenamiento Temporal: Las normas más nuevas generalmente anulan a las más antiguas.
Consecuencia Lógica y Subsumción: El sistema analiza la relación lógica entre los comportamientos y contextos de las normas conflictivas (conflictos Directos, Indirectos e Intersectantes).
Suposiciones de Cierre: El sistema opera bajo una de dos suposiciones predeterminadas:
- Cierre Prohibitivo: Las acciones son impermisibles por defecto a menos que se permitan explícitamente (utilizado para datos sensibles).
- Cierre Permisivo: Las acciones son permisibles por defecto a menos que se prohíban explícitamente.

El cálculo utiliza cláusulas de Horn y la negación por fallo (uninferredSentence) para determinar si un permiso o una prohibición son "derrotados" por una norma posterior y conflictiva. Por ejemplo, bajo Cierre Prohibitivo, una prohibición posterior puede derrotar un permiso anterior si los fundamentos de aplicación de la prohibición subsumen los del permiso.

3. Implementación Empírica: SocialBot

El enfoque se implementó en SocialBot, un agente de diálogo de IA construido sobre la Arquitectura Cognitiva Companion.

Dominio: Intercambio de información y privacidad.
Interacción: Los usuarios interactúan mediante Lenguaje Natural (LN). SocialBot traduce el LN a representaciones semánticas utilizando el sistema de Comprensión del Lenguaje Natural de Companion (CNLU).
Flujo de trabajo:
1. Los usuarios enseñan preferencias (por ejemplo, "Me gusta la IA").
2. Los usuarios proporcionan testimonio normativo (por ejemplo, "Debes compartir mis gustos sobre la IA" o "No compartas mis registros médicos").
3. Los usuarios consultan al bot (por ejemplo, "¿Qué le gusta a Karli?").
4. SocialBot intenta ejecutar un plan para responder. Antes de ejecutarlo, verifica si la acción (compartir la información) es permisible según las creencias normativas actuales y dinámicamente actualizadas.

Contribuciones Clave

Cálculo Defeccible para Conflictos Normativos: Una lógica formal para resolver conflictos en testimonios normativos, manejando conflictos directos, indirectos e intersectantes basados en el ordenamiento temporal y la subsumción lógica.
Marco de Planificación Guiada por Normas: Un método para tratar las creencias normativas dinámicamente cambiantes como guardarríles (precondiciones) para la planificación de la IA, asegurando que las acciones solo se ejecuten cuando sean permisibles.
Validación Teórica: Pruebas formales que demuestran que el cálculo infiere de manera sólida las creencias normativas, asegurando que un comportamiento no pueda inferirse como permisible e impermisible simultáneamente en el mismo contexto.
Evaluación Empírica: Una evaluación utilizando un conjunto de datos sintético de 1.536 casos de diálogo que cubren todas las permutaciones de conflictos normativos, introducciones de preferencias y consultas.

Resultados

Teóricos: Las pruebas formales (Teoremas 1–4) confirman que las reglas de inferencia manejan correctamente los tres tipos de conflictos normativos (Directos, Indirectos, Intersectantes) bajo ambas suposiciones de cierre prohibitivo y permisivo. El sistema garantiza la consistencia: si un comportamiento se infiere como permisible, no puede inferirse simultáneamente como impermisible.
Empíricos: En el experimento con SocialBot, el agente respondió correctamente al 100% de las consultas de preferencias en los 1.536 casos de diálogo sintéticos.
- Los resultados fueron estadísticamente significativos ( $p < .01$ ), rechazando la hipótesis nula de que el rendimiento se debió al azar.
- El agente actualizó con éxito su comprensión de las normas de privacidad del usuario basándose en nuevos testimonios y se adhirió a estas creencias actualizadas al decidir si compartir información.

Significado y Afirmaciones

El artículo afirma proporcionar un enfoque con base teórica para guiar los planes de la IA con normas dinámicamente cambiantes en entornos humano-IA. Su significado radica en:

Ir más allá del aprendizaje estático de normas hacia la adaptación dinámica, permitiendo que los agentes respeten los deseos humanos en evolución (por ejemplo, un usuario que cambia de opinión sobre compartir registros médicos).
Proporcionar una base formal para el razonamiento normativo que evita la manipulabilidad y la falta de rigor teórico que se encuentra en algunos enfoques basados en LLM.
Demostrar que las normas pueden servir como guardarríles efectivos, reduciendo las obligaciones y las normas discrecionales a permisos que actúan como precondiciones para la ejecución de planes.

Los autores señalan limitaciones, incluido el enfoque actual en las normas de un solo agente (no ponderación multiagente), la dependencia del conocimiento de fondo para la consecuencia lógica y el uso de un conjunto de datos sintético. Enmarcan este trabajo como un paso hacia guardarríles adaptativos para agentes de IA, asegurando que sus acciones permanezcan consistentes con las expectativas normativas humanas.