A Neuro-Symbolic Framework for Accountability in Public-Sector AI

Esta tesis propone un marco neuro-simbólico que integra una ontología normativa, extracción de reglas y razonamiento basado en solucionadores para garantizar que las decisiones automatizadas de elegibilidad para CalFresh se alineen con las normas legales, permitiendo así una rendición de cuentas procesal trazable y susceptible de impugnación.

Lo esencial

Imagina una oficina gubernamental que decide quién recibe asistencia alimentaria. Cuando dicen "no" a un solicitante, envían una carta explicando por qué. Por lo general, estas cartas están escritas en un jerga legal confusa. El solicitante la lee, piensa: "Eso suena razonable", pero en realidad no puede verificar si el gobierno está siguiendo las reglas correctamente. Quedan atrapados confiando en la carta porque no tienen las herramientas legales para verificarla.

Este artículo propone un nuevo "árbitro digital" para revisar esas cartas. Así es como funciona, desglosado en conceptos simples:

El Problema: La "Caja Negra" de la Burocracia

Piensa en el proceso de toma de decisiones del gobierno como una caja negra. Introduces tu información y sale una decisión. A veces, la caja es un programa informático; a veces, es un humano siguiendo un reglamento complejo. El problema es que la "carta de explicación" que te envían puede parecer buena en la superficie, pero podría estar rompiendo las reglas en secreto.

Actualmente, confiamos en la "interpretabilidad": intentar hacer visible el pensamiento de la computadora. Pero los autores argumentan que, en un contexto legal, simplemente ver el pensamiento no es suficiente. Necesitas auditoría. Necesitas saber si la explicación coincide realmente con la ley, como verificar si un recibo coincide con los artículos que compraste.

La Solución: Un "Traductor" y un "Verificador de Reglas"

Los autores construyeron un sistema llamado Marco Neuro-Simbólico. Puedes pensar en esto como un equipo de dos personas trabajando juntos:

1. El Traductor (La parte "Neural"):
   Imagina un robot superinteligente que lee las leyes gubernamentales desordenadas y complejas (escritas en inglés) y las cartas de explicación desordenadas enviadas a los solicitantes. La tarea de este robot es traducir ese lenguaje humano a un lenguaje matemático estricto que las computadoras puedan entender perfectamente. Es como un traductor que convierte un poema en un conjunto preciso de ecuaciones matemáticas.

   • En el artículo: Utilizaron un Modelo de Lenguaje Grande (LLM) para convertir leyes como "Debes ganar menos de 2.000 dólares" en una regla formal: Si Ingreso > 2000, Entonces No Elegible.

2. El Verificador de Reglas (La parte "Simbólica"):
   Una vez que las leyes y las cartas de explicación se convierten en ecuaciones matemáticas, entra en acción una máquina de lógica estricta (llamada solucionador SMT). Esta máquina no adivina; calcula. Pregunta: "¿La carta de explicación matemáticamente prueba la decisión?".

   • Si la carta dice: "Te denegamos porque ganas demasiado", y las matemáticas muestran que sí ganas demasiado, la máquina dice SAT (Satisfactorio/Válido). La explicación se sostiene.
   • Si la carta dice: "Te denegamos porque ganas demasiado", pero las matemáticas muestran que no ganas demasiado, la máquina dice UNSAT (Insatisfactorio/Inválido). La explicación es una mentira o un error, incluso si suena plausible para un humano.

La Prueba en el Mundo Real: CalFresh

El equipo probó este sistema en CalFresh, el programa de asistencia alimentaria de California. Tomaron 50 casos reales donde se denegaron o recortaron los beneficios de las personas.

• La Configuración: Alimentaron al sistema con la ley real, los hechos del solicitante (ingresos, tamaño de la familia) y la carta oficial que envió el gobierno.
• El Resultado: El sistema encontró con éxito "discrepancias legales". En una prueba, engañaron al sistema cambiando una decisión de "Denegado" a "Aprobado" pero manteniendo la misma explicación (que decía que la persona ganaba demasiado). El sistema gritó inmediatamente UNSAT, señalando que la explicación contradecía la nueva decisión.
• La "Pistola Humeante": Cuando el sistema encontró un error, no solo dijo "Error". Señaló la página y el párrafo exactos de la ley que se violaron. Es como un árbitro que no solo pita la falta, sino que señala la página específica del reglamento que el jugador rompió.

Por Qué Esto Importa

Los autores argumentan que necesitamos dejar de intentar simplemente "explicar" cómo piensa la IA y comenzar a auditar las justificaciones legales que produce.

• Forma Actual: "Aquí está por qué la computadora dijo que no. Se basa en un patrón que aprendió". (Esto es difícil de impugnar en los tribunales).
• Nueva Forma: "Aquí está la carta. Nuestro sistema la verificó contra la ley y encontró que viola la Sección 63-409.111". (Esto es fácil de impugnar en los tribunales).

La Conclusión

Este artículo no afirma reemplazar al gobierno ni tomar las decisiones finales. En cambio, construye una red de seguridad digital. Asegura que, cuando el gobierno te envíe una carta diciendo "No", esa carta sea realmente una razón legal válida, no solo una excusa confusa. Convierte la "explicación" de un papel en el que debes confiar, en una prueba que puedes verificar.

Conclusión Clave: En el mundo de los beneficios públicos, una explicación no se trata solo de ser clara; se trata de ser legalmente verdadera. Este sistema es la herramienta que verifica si se está diciendo la verdad.

Resumen técnico

Resumen Técnico: Un Marco Neuro-Simbólico para la Responsabilidad Legal en la IA del Sector Público

1. Declaración del Problema

Las agencias públicas dependen cada vez más de sistemas de toma de decisiones automatizada (ADM) para gestionar el acceso a beneficios de bienestar. Aunque estos sistemas prometen eficiencia, a menudo carecen de transparencia, lo que dificulta que los solicitantes comprendan o impugnen las determinaciones de elegibilidad. Los enfoques actuales de Inteligencia Artificial Explicable (XAI) se centran en la interpretabilidad del modelo, la fidelidad o la confianza del usuario. Sin embargo, en contextos legales y administrativos, la función principal de una explicación no es simplemente ser comprendida, sino servir como una justificación legal que pueda ser impugnada en entornos adversariales o cuasi-judiciales.

El problema central identificado es que las explicaciones existentes (por ejemplo, los Avisos de Acción) pueden parecer plausibles para los lectores humanos, pero fallan al hacer referencia a la autoridad legal correcta o al declarar erróneamente las condiciones estatutarias. Existe una falta de infraestructura técnica para verificar si estos artefactos justificativos son legalmente válidos frente a los estatutos vigentes. Los métodos actuales de auditoría se centran a menudo en el cumplimiento a nivel de decisión o en el comportamiento del modelo, descuidando la integridad legal de las propias explicaciones. Esta brecha impide que los solicitantes y los órganos de supervisión evalúen eficazmente si una decisión satisface los criterios estatutarios y las normas procedimentales.

2. Metodología

Los autores proponen un marco neuro-simbólico diseñado para verificar automáticamente la adecuación legal de las explicaciones de elegibilidad para beneficios de bienestar. El sistema desplaza el enfoque de la interpretación de los internos del modelo a la auditoría de las justificaciones proporcionadas a los solicitantes. La arquitectura consta de cuatro etapas principales:

2.1 Fuentes de Datos

• Corpus Estatutario: La División 63 del Manual de Políticas y Procedimientos (MPP) de California, que rige el programa CalFresh (SNAP).
• Datos de Casos: 50 decisiones de apelación administrativa de la División de Audiencias Estatales del Departamento de Servicios Sociales (CDSS) de California. Estos registros incluyen la explicación original de la agencia, el resultado de la determinación y las circunstancias fácticas presentadas por el reclamante.

2.2 Arquitectura del Sistema

El marco opera mediante un flujo de trabajo que separa las reglas legales de las afirmaciones específicas del caso:

1. Construcción de Ontología:

   • Se deriva un vocabulario legal controlado a partir de las regulaciones del MPP utilizando Reconocimiento de Entidades Nombradas (NER) y coincidencia de similitud basada en incrustaciones (utilizando Qwen3-Embedding-8B).
   • La ontología apunta a dimensiones centrales de elegibilidad: ingresos, residencia, ciudadanía, recursos y estado de estudiante.
   • Esta estructura garantiza la trazabilidad hacia fuentes autorizadas y previene la redundancia.

2. Codificación de la TBox (Caja Terminológica):

   • Representa la estructura normativa de la ley (reglas invariantes al caso).
   • Las disposiciones estatutarias se segmentan y se extraen los términos operativos.
   • Se solicita a un Modelo de Lenguaje Grande (LLM), específicamente OpenAI's o1, que traduzca estas disposiciones en reglas lógicas formales listas para resolver (por ejemplo, implicaciones, condiciones necesarias).
   • Cada regla se vincula a su cita de origen (por ejemplo, MPP §63-409.111).

3. Construcción de la ABox (Caja de Afirmaciones):

   • Representa el contenido a nivel de caso (hechos y afirmaciones explicativas).
   • La explicación de la agencia se traduce al mismo formato lógico que la TBox utilizando el LLM.
   • Se extraen predicados fácticos (por ejemplo, tamaño del hogar, montos de ingresos) de los registros de las audiencias.
   • La ABox combina las reglas de la TBox recuperadas invocadas por la explicación, la lógica de la explicación traducida y los hechos específicos del caso.

4. Verificación Basada en SMT:

   • Un solucionador de Satisfacción Modulo Teorías (SMT) evalúa la satisfacción conjunta de la TBox (reglas legales) y la ABox (afirmaciones del caso).
   • Resultado SAT: La explicación es coherente con la ley vigente y puede funcionar como una justificación legalmente admisible.
   • Resultado UNSAT: La explicación es inconsistente con la ley. El solucionador extrae un núcleo insatisfacible —un subconjunto mínimo de restricciones responsables del conflicto— y los mapea de nuevo a disposiciones estatutarias específicas.

3. Contribuciones Clave

• Cambio de la Interpretabilidad a la Auditabilidad: El artículo aboga por un cambio de paradigma donde la responsabilidad algorítmica pública se mide por la validez legal de las explicaciones en lugar de solo por la interpretabilidad del modelo.
• Flujo de Verificación Neuro-Simbólico: Una integración novedosa donde los componentes neuronales (LLMs) manejan la extracción y traducción de texto legal no estructurado y explicaciones, mientras que los componentes simbólicos (solucionadores SMT) proporcionan verificación determinista y trazabilidad.
• Responsabilidad a Nivel de Explicación: A diferencia de trabajos anteriores que formalizaron herramientas de cribado (por ejemplo, Escher y Banovic, 2020), este marco evalúa los artefactos justificativos (avisos de acción) emitidos a los solicitantes, apoyando los derechos de impugnación y apelación.
• Señales Fundamentadas en Estatutos: El sistema no solo señala errores; produce señales de responsabilidad accionables al identificar exactamente qué disposiciones estatutarias son violadas por una explicación.

4. Resultados

El marco se evaluó en 50 casos de CalFresh en cinco categorías de elegibilidad (Estado de Estudiante, Ingresos, Residencia, Ciudadanía, Recursos). Para la evaluación, los autores crearon instancias emparejadas invirtiendo la determinación de elegibilidad mientras mantenían la explicación constante para probar contradicciones legales.

• Precisión de Verificación: El sistema logró una precisión general del 97.7% en la distinción entre explicaciones legalmente coherentes (SAT) e incoherentes (UNSAT).
• Precisión de Localización: Cuando se detectó una inconsistencia (UNSAT), el sistema localizó con éxito la disposición estatutaria específica implicada.
  • Puntuación F1 de Localización: Varió por categoría, oscilando entre 0.51 (Ingresos) y 0.83 (Ciudadanía), con un promedio general de 0.977 para los casos UNSAT donde la localización era aplicable.
  • Las categorías con reglas más deterministas (Ciudadanía, Residencia) mostraron una mayor precisión de recuperación que aquellas con matices contextuales (Ingresos, Estado de Estudiante).
• Estudio de Caso: En un caso específico donde la terminación de un beneficio se justificó por "ingresos brutos superiores al límite", el sistema confirmó que la explicación era SAT. Cuando la determinación se invirtió a "elegible" manteniendo la misma explicación, el sistema devolvió correctamente UNSAT e identificó el MPP §63-409.111 como la disposición violada.

5. Significado y Afirmaciones

Los autores afirman que este trabajo ofrece una prueba de concepto para integrar la responsabilidad legal en el sustrato técnico de la IA del sector público.

• Andamiaje Institucional: El sistema no está diseñado para reemplazar la discreción administrativa ni para automatizar el juicio legal, sino para actuar como "andamiaje institucional" que fortalece la supervisión y la impugnabilidad. Automatiza la verificación de justificaciones, no las decisiones en sí mismas.
• Gobernanza sobre Transparencia: El artículo reencuadra la explicabilidad como un desafío de gobernanza. Plantea que, para los algoritmos públicos, las explicaciones deben hacer más que revelar asociaciones estadísticas; deben articular la base legal de una decisión para satisfacer los derechos del debido proceso.
• Aplicabilidad: El marco es aplicable independientemente de si el motor de decisión subyacente es predictivo, basado en reglas o híbrido, ya que evalúa la capa explicativa emitida al solicitante.
• Limitaciones: Los autores notan modestamente que el sistema depende de una formalización específica de la tarea de los estatutos y no puede capturar completamente estándares de textura abierta o juicios discrecionales. La evaluación utilizó casos controlados de una sola ley para asegurar una atribución clara, lo que significa que la complejidad del mundo real que involucra múltiples estatutos interactuantes puede presentar desafíos adicionales. El sistema es una herramienta técnica para la infraestructura de responsabilidad, no un sustituto del juicio legal holístico.

En conclusión, el artículo demuestra que la responsabilidad legal a nivel de explicación puede hacerse computacionalmente tratable mediante métodos neuro-simbólicos, proporcionando un mecanismo para que las agencias, los órganos de supervisión y los individuos evalúen si las justificaciones automatizadas satisfacen los requisitos estatutarios.