A Neuro-Symbolic Framework for Accountability in Public-Sector AI

Esta tese propõe um framework neuro-simbólico que integra uma ontologia estatutária, extração de regras e raciocínio baseado em solucionadores para garantir que as decisões automatizadas de elegibilidade para o CalFresh estejam alinhadas com as regras legais, permitindo assim uma responsabilização processual rastreável e contestável.

O essencial

Imagine um escritório governamental que decide quem recebe assistência alimentar. Quando eles dizem "não" a um solicitante, enviam uma carta explicando o porquê. Geralmente, essas cartas são escritas em jargão jurídico confuso. O solicitante lê, pensa: "Isso parece razoável", mas não consegue verificar se o governo está seguindo as regras corretamente. Eles ficam presos confiando na carta porque não possuem as ferramentas jurídicas para verificá-la.

Este artigo propõe um novo "árbitro digital" para verificar essas cartas. Eis como funciona, decomposto em conceitos simples:

O Problema: A "Caixa Preta" da Burocracia

Pense no processo de tomada de decisão do governo como uma caixa preta. Você insere suas informações e uma decisão sai. Às vezes, a caixa é um programa de computador; outras vezes, é um humano seguindo um manual de regras complexo. O problema é que a "carta de explicação" enviada a você pode parecer boa superficialmente, mas pode estar secretamente violando as regras.

Atualmente, confiamos na "interpretabilidade" — tentando tornar visível o pensamento do computador. Mas os autores argumentam que, em um contexto jurídico, apenas ver o pensamento não é suficiente. Você precisa de auditoria. Você precisa saber se a explicação realmente corresponde à lei, como verificar se um recibo corresponde aos itens que você comprou.

A Solução: Um "Tradutor" e um "Verificador de Regras"

Os autores construíram um sistema chamado Framework Neuro-Simbólico. Você pode pensar nisso como uma equipe de duas pessoas trabalhando juntas:

1. O Tradutor (A Parte "Neural"):
   Imagine um robô superinteligente que lê as leis governamentais confusas e complexas (escritas em inglês) e as cartas de explicação confusas enviadas aos solicitantes. A função desse robô é traduzir essa linguagem humana para uma linguagem matemática estrita que os computadores possam entender perfeitamente. É como um tradutor transformando um poema em um conjunto preciso de equações matemáticas.

   • No artigo: Eles usaram um Modelo de Linguagem de Grande Escala (LLM) para transformar leis como "Você deve ganhar menos de US$ 2.000" em uma regra formal: Se Renda > 2000, Então Não Elegível.

2. O Verificador de Regras (A Parte "Simbólica"):
   Uma vez que as leis e as cartas de explicação são transformadas em equações matemáticas, uma máquina de lógica estrita (chamada de solucionador SMT) entra em ação. Esta máquina não adivinha; ela calcula. Ela pergunta: "A carta de explicação prova matematicamente a decisão?"

   • Se a carta diz: "Você foi negado porque ganha demais", e a matemática mostra que você de fato ganha demais, a máquina diz SAT (Satisfatível/Válido). A explicação se sustenta.
   • Se a carta diz: "Você foi negado porque ganha demais", mas a matemática mostra que você não ganha demais, a máquina diz UNSAT (Insatisfatível/Inválido). A explicação é uma mentira ou um erro, mesmo que soe plausível para um humano.

O Teste no Mundo Real: CalFresh

A equipe testou esse sistema no CalFresh, o programa de assistência alimentar da Califórnia. Eles analisaram 50 casos reais em que pessoas tiveram seus benefícios negados ou reduzidos.

• A Configuração: Eles alimentaram o sistema com a lei real, os fatos do solicitante (renda, tamanho da família) e a carta oficial enviada pelo governo.
• O Resultado: O sistema encontrou com sucesso "incompatibilidades legais". Em um teste, eles enganaram o sistema alterando uma decisão de "Negado" para "Aprovado", mas mantiveram a mesma explicação (que dizia que a pessoa ganhava demais). O sistema imediatamente gritou UNSAT, apontando que a explicação contradizia a nova decisão.
• A "Prova Convincente": Quando o sistema encontrava um erro, não dizia apenas "Erro". Ele apontava a página e o parágrafo exatos da lei que foram violados. É como um árbitro não apenas apitar, mas apontar para a página específica do manual de regras que o jogador violou.

Por Que Isso Importa

Os autores argumentam que precisamos parar de tentar apenas "explicar" como a IA pensa e começar a auditar as justificativas legais que ela produz.

• Modo Atual: "Aqui está o motivo pelo qual o computador disse não. Baseia-se em um padrão que ele aprendeu." (Isso é difícil de contestar em tribunal).
• Novo Modo: "Aqui está a carta. Nosso sistema a verificou contra a lei e constatou que viola a Seção 63-409.111." (Isso é fácil de contestar em tribunal).

A Conclusão

Este artigo não afirma substituir o governo ou tomar as decisões finais. Em vez disso, ele constrói uma rede de segurança digital. Ele garante que, quando o governo lhe enviar uma carta dizendo "Não", essa carta seja realmente uma razão legal válida, e não apenas uma desculpa confusa. Ele transforma a "explicação" de um pedaço de papel no qual você precisa confiar em uma peça de evidência que você pode verificar.

Conclusão Principal: No mundo dos benefícios públicos, uma explicação não se trata apenas de ser clara; trata-se de ser legalmente verdadeira. Este sistema é a ferramenta que verifica se a verdade está sendo realmente dita.

Resumo técnico

Resumo Técnico: Um Framework Neuro-Simbólico para Responsabilidade Legal em IA do Setor Público

1. Declaração do Problema

Agências públicas dependem cada vez mais de sistemas de tomada de decisão automatizada (ADM) para governar o acesso a benefícios de bem-estar. Embora esses sistemas prometam eficiência, frequentemente carecem de transparência, dificultando que os solicitantes compreendam ou contestem determinações de elegibilidade. As abordagens atuais para IA Explicável (XAI) focam na interpretabilidade do modelo, fidelidade ou confiança do usuário. No entanto, em contextos legais e administrativos, a função primária de uma explicação não é meramente ser compreendida, mas servir como uma justificativa legal que possa ser contestada em ambientes adversariais ou quasi-judiciais.

O problema central identificado é que as explicações existentes (por exemplo, Avisos de Ação) podem parecer plausíveis para leitores humanos, mas falham em referenciar a autoridade legal correta ou afirmam erroneamente condições estatutárias. Há uma falta de infraestrutura técnica para verificar se esses artefatos justificativos são legalmente válidos em relação aos estatutos governantes. Os métodos atuais de auditoria frequentemente focam na conformidade ao nível da decisão ou no comportamento do modelo, negligenciando a integridade legal das próprias explicações. Essa lacuna impede que solicitantes e órgãos de supervisão avaliem efetivamente se uma decisão satisfaz critérios estatutários e normas procedimentais.

2. Metodologia

Os autores propõem um framework neuro-simbólico projetado para verificar automaticamente a adequação legal de explicações de elegibilidade para benefícios. O sistema desloca o foco da interpretação dos internals do modelo para a auditoria das justificativas fornecidas aos solicitantes. A arquitetura consiste em quatro etapas principais:

2.1 Fontes de Dados

• Corpus Estatutário: O Manual de Políticas e Procedimentos (MPP) da Califórnia, Divisão 63, que rege o programa CalFresh (SNAP).
• Dados de Casos: 50 decisões de recurso administrativo do Departamento de Serviços Sociais da Califórnia (CDSS), Divisão de Audiências Estaduais. Esses registros incluem a explicação original da agência, o resultado da determinação e as circunstâncias factuais apresentadas pelo requerente.

2.2 Arquitetura do Sistema

O framework opera através de um pipeline que separa regras legais de afirmações específicas do caso:

1. Construção de Ontologia:

   • Um vocabulário legal controlado é derivado das regulamentações do MPP usando Reconhecimento de Entidades Nomeadas (NER) e correspondência de similaridade baseada em embeddings (usando Qwen3-Embedding-8B).
   • A ontologia visa dimensões centrais de elegibilidade: renda, residência, cidadania, recursos e status de estudante.
   • Essa estrutura garante rastreabilidade até fontes autoritativas e previne redundância.

2. Codificação da TBox (Caixa Terminológica):

   • Representa a estrutura normativa da lei (regras invariantes ao caso).
   • As disposições estatutárias são segmentadas e termos operativos são extraídos.
   • Um Modelo de Linguagem de Grande Escala (LLM), especificamente o o1 da OpenAI, é instruído a traduzir essas disposições em regras lógicas formais prontas para solucionadores (por exemplo, implicações, condições necessárias).
   • Cada regra é vinculada à sua citação de origem (por exemplo, MPP §63-409.111).

3. Construção da ABox (Caixa de Afirmações):

   • Representa o conteúdo ao nível do caso (fatos e alegações explicativas).
   • A explicação da agência é traduzida para o mesmo formato lógico da TBox usando o LLM.
   • Predicados factuais (por exemplo, tamanho do domicílio, valores de renda) são extraídos dos registros da audiência.
   • A ABox combina as regras da TBox recuperadas invocadas pela explicação, a lógica da explicação traduzida e os fatos específicos do caso.

4. Verificação Baseada em SMT:

   • Um solucionador de Satisfiability Modulo Theories (SMT) avalia a satisfabilidade conjunta da TBox (regras legais) e da ABox (afirmações do caso).
   • Resultado SAT: A explicação é coerente com a lei governante e pode funcionar como uma justificativa legalmente admissível.
   • Resultado UNSAT: A explicação é inconsistente com a lei. O solucionador extrai um núcleo insatisfatível — um subconjunto mínimo de restrições responsáveis pelo conflito — e mapeia-os de volta para disposições estatutárias específicas.

3. Contribuições Principais

• Mudança da Interpretabilidade para Auditabilidade: O artigo argumenta por uma mudança de paradigma onde a responsabilidade algorítmica pública é medida pela validade legal das explicações, e não apenas pela interpretabilidade do modelo.
• Pipeline de Verificação Neuro-Simbólica: Uma integração inovadora onde componentes neurais (LLMs) lidam com a extração e tradução de texto legal não estruturado e explicações, enquanto componentes simbólicos (solucionadores SMT) fornecem verificação determinística e rastreabilidade.
• Responsabilidade ao Nível da Explicação: Diferentemente de trabalhos anteriores que formalizaram ferramentas de triagem (por exemplo, Escher e Banovic, 2020), este framework avalia os artefatos justificativos (avisos de ação) emitidos aos solicitantes, apoiando direitos de contestação e recurso.
• Sinais Fundamentados em Estatutos: O sistema não apenas sinaliza erros; produz sinais de responsabilidade acionáveis ao identificar exatamente quais disposições estatutárias são violadas por uma explicação.

4. Resultados

O framework foi avaliado em 50 casos do CalFresh em cinco categorias de elegibilidade (Status de Estudante, Renda, Residência, Cidadania, Recursos). Para avaliação, os autores criaram instâncias pareadas invertendo a determinação de elegibilidade enquanto mantinham a explicação constante para testar contradições legais.

• Precisão de Verificação: O sistema alcançou uma precisão geral de 97,7% na distinção entre explicações legalmente coerentes (SAT) e incoerentes (UNSAT).
• Precisão de Localização: Quando uma inconsistência foi detectada (UNSAT), o sistema localizou com sucesso a disposição estatutária específica implicada.
  • Pontuação F1 de Localização: Variou por categoria, indo de 0,51 (Renda) a 0,83 (Cidadania), com uma média geral de 0,977 para os casos UNSAT onde a localização era aplicável.
  • Categorias com regras mais determinísticas (Cidadania, Residência) mostraram maior precisão de recuperação do que aquelas com nuances contextuais (Renda, Status de Estudante).
• Estudo de Caso: Em um caso específico onde a rescisão de benefícios foi justificada por "renda bruta excede o limite", o sistema confirmou que a explicação era SAT. Quando a determinação foi invertida para "elegível" mantendo a mesma explicação, o sistema retornou corretamente UNSAT e identificou o MPP §63-409.111 como a disposição violada.

5. Significado e Alegações

Os autores afirmam que este trabalho oferece uma prova de conceito para incorporar responsabilidade legal na base técnica da IA do setor público.

• Estrutura Institucional: O sistema é projetado não para substituir a discricionariedade administrativa ou automatizar o julgamento legal, mas para atuar como "andaime institucional" que fortalece a supervisão e a contestabilidade. Ele automatiza a verificação de justificativas, e não as decisões em si.
• Governança sobre Transparência: O artigo reestrutura a explicabilidade como um desafio de governança. Postula que, para algoritmos públicos, as explicações devem fazer mais do que revelar associações estatísticas; devem articular a base legal de uma decisão para satisfazer direitos de devido processo.
• Aplicabilidade: O framework é aplicável independentemente de o motor de decisão subjacente ser preditivo, baseado em regras ou híbrido, pois avalia a camada explicativa emitida ao solicitante.
• Limitações: Os autores observam modestamente que o sistema depende de uma formalização específica de tarefas dos estatutos e não pode capturar totalmente padrões de textura aberta ou julgamentos discricionários. A avaliação utilizou casos controlados de lei única para garantir atribuição clara, o que significa que a complexidade do mundo real envolvendo múltiplos estatutos interagindo pode apresentar desafios adicionais. O sistema é uma ferramenta técnica para infraestrutura de responsabilidade, não um substituto para julgamento legal holístico.

Em conclusão, o artigo demonstra que a responsabilidade legal ao nível da explicação pode ser tornada computacionalmente tratável através de métodos neuro-simbólicos, fornecendo um mecanismo para agências, órgãos de supervisão e indivíduos avaliarem se justificativas automatizadas satisfazem requisitos estatutários.