🤖 AI

AUDITA: certified auditing and causal attribution of adverse outcomes in autonomous multi-agent systems

Este artigo apresenta o AUDITA, um framework de auditoria certificado para sistemas multiagentes autônomos que combina registros de comandos à prova de adulteração com um motor de atribuição causal graduada para garantir matematicamente a atribuição justa de responsabilidade, prevenir o deslocamento de culpa e resolver com precisão desfechos adversos complexos e multicausais onde métodos tradicionais de culpado único falham.

Autores originais: Zhixu Du, Yiran Chen

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhixu Du, Yiran Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No futuro próximo, fábricas, armazéns e espaços públicos não serão geridos por supervisores humanos, mas por frotas de máquinas guiadas por um único cérebro de inteligência artificial. Este cérebro não emite ordens para um único robô; ele coordena uma conversa complexa entre dezenas de agentes de software especializados, cada um com um trabalho específico, desde planejar uma rota até segurar uma caixa pesada. Quando estes sistemas funcionam, eles se movem de forma mais rápida e eficiente do que qualquer equipe humana jamais conseguiria. Mas quando algo dá errado — um trabalhador é ferido, uma remessa é arruinada ou uma máquina colide — a questão de quem é o culpado torna-se um emaranhado confuso. O fabricante da máquina, o desenvolvedor do software, o operador da fábrica e a seguradora todos apontam o dedo uns para os outros. Atualmente, não existe uma maneira confiável de desatar este nó. Os registros digitais que registram o que aconteceu podem ser alterados, e os sistemas que os analisam frequentemente forçam uma única pessoa ou programa a assumir a culpa, mesmo quando o acidente foi causado por uma cadeia de eventos, um sinal perdido ou dois comandos diferentes que foram ambos suficientes para causar o desastre.

Uma equipe de pesquisadores da Universidade Duke construiu um novo sistema chamado Audita para resolver este problema. Em vez de adivinhar quem é o responsável com base em registros incompletos ou facilmente falsificáveis, o Audita cria um livro de registros permanente e imutável de cada comando enviado entre os agentes de software. Pense neste registro como um diário selado e à prova de adulteração, onde cada entrada é assinada pelo remetente e vinculada à entrada anterior, tornando impossível deletar uma página ou mudar uma palavra sem que todos percebam. Quando ocorre um acidente, o Audita não procura apenas por um único "vilão". Ele utiliza uma investigação rigorosa, passo a passo, para rastrear exatamente como o dano ocorreu. Ele verifica se um comando foi realmente executado, se uma ordem necessária foi ignorada ou se múltiplos agentes contribuíram para a falha. O sistema então atribui um grau específico de responsabilidade a cada parte, variando de zero a culpa total, e fornece um certificado que prova exatamente por que essa decisão foi tomada.

Os pesquisadores testaram este sistema de duas maneiras muito distintas. Primeiro, utilizaram-no em um sistema vivo e funcional, onde agentes de inteligência artificial resolviam problemas matemáticos complexos. Nestes testes, os métodos padrão usados hoje para atribuir culpa estavam errados cerca de metade das vezes, muitas vezes perdendo o fato de que múltiplos agentes compartilhavam a responsabilidade. O Audita, por outro favor, reduziu a taxa de erro em aproximadamente três vezes, identificando corretamente que a falha era geralmente um esforio conjunto entre o agente de planejamento e o agente de verificação. Segundo, a equipe testou o Audita em uma biblioteca de acidentes simulados baseados em colisões reais de robôs, incluindo cenários onde uma máquina parou porque ninguém disse para ela parar, ou onde duas máquinas tentaram realizar o mesmo trabalho e ambas falharam. Nestes testes controlados, os métodos antigos falharam completamente, muitas vezes culpando a máquina errada ou inventando um culpado onde nenhum existia. O Audato, no entanto, identificou a causa exata de cada acidente com precisão perfeita, mesmo quando os pesquisadores tentaram enganar o sistema deletando partes do registro ou tentando incriminar uma máquina inocente.

Uma parte crucial da descoberta é o que o sistema prova ser impossível de falsificar. Os pesquisadores mostraram que, embora um ator malicioso pudesse tentar fazer uma máquina inocente parecer a causadora de um acidente ao enviar-lhe uma ordem falsa, o sistema detectaria essa tentativa e atribuiria a culpa ao atacante. O sistema também provou que não se pode simplesmente deletar evidências para fazer uma parte culpada parecer inocente; se a evidência estiver faltando, o sistema a sinaliza como uma lacuna e se recusa a absolver o acusado, em vez de fingir que a peça ausente nunca existiu. Isso significa que o sistema pode distinguir entre uma máquina que realmente quebrou as regras e uma que foi meramente uma mensageira do erro de outra pessoa. Ele também pode lidar com situações em que uma máquina não fez nada de errado, mas falhou em interromper um acidente porque nunca foi instruída a agir, um tipo de falha que os sistemas atuais frequentemente ignoram.

O estudo também explorou os limites do que qualquer sistema desse tipo pode fazer. Os pesquisadores descobriram que, se o registro digital estiver incompleto — se as máquinas conversarem entre si através de canais secretos que o sistema não consegue ver — então o sistema não pode atribuir culpa total. Ele só pode dizer o que aconteceu com base nas evidências que possui. No entanto, dentro desses limites, o sistema é matematicamente comprovado como sendo justo. Não pode ser enganado para culpar uma máquina complacente, nem pode ser enganado para deixar uma máquina culpada escapar impune. Os pesquisadores demonstraram que, à medida que os modelos de inteligência artificial se tornam mais poderosos, a capacidade do sistema de encontrar a verdade melhora, enquanto os métodos antigos permanecem estagnados no mesmo nível de erro.

Este trabalho sugere que, para que as máquinas autônomas sejam confiáveis no mundo real, precisamos de uma nova maneira de manter a contagem. A abordagem atual de procurar por um único culpado é fundamentalmente falha porque não condiz com a forma como os sistemas complexos realmente falham. Ao combinar um registro imutável de eventos com um método que compreende as nuances da responsabilidade compartilhada, o Audita oferece uma maneira de transformar a discussão sobre quem é o culpado em um cálculo baseado em evidências concretas. Os pesquisadores não estão alegando que isso resolve todos os problemas legais ou éticos, mas demonstraram que é possível criar um sistema que responda à questão da responsabilidade com um nível de certeza que antes era considerado impossível. Embora o sistema ainda não tenha sido demonstrado em robôs físicos ou pilhas de produção, os pesquisadores o propõem como uma camada necessária para futuros coletivos autônomos, oferecendo um caminho onde as máquinas podem ser responsabilizadas de uma forma que seja justa, transparente e matematicamente sólida.

Resumo Técnico: Audita – Auditoria Certificada e Atribuição Causal em Sistemas Multiagentes Autônomos

1. Declaração do Problema

À medida que a automação física escala para frotas de máquinas incorporadas comandadas por cérebros de IA (ex: planejadores de modelos de linguagem e modelos de visão-linguagem-ação), decisões conjuntas carregam consequências físicas e econômicas crescentes. Quando ocorrem resultados adversos (ex: ferimento de trabalhador, falha de produção), determinar a responsabilidade é atualmente impossível de defender. As abordagens existentes dependem de logs de execução que carecem de prova criptográfica de origem, ordem ou completude, tornando-os suscetíveis a adulterações. Além disso, os métodos atuais de atribuição tipicamente identificam um único "culpado", falhando em considerar estruturas causais complexas comuns em sistemas multiagentes:

Superdeterminação: Múltiplas causas suficientes onde qualquer uma delas isoladamente teria desencadeado o resultado.
Preempção: O efeito de um comando é bloqueado antes de atingir o resultado.
Omissão: Uma falha em agir (ex: um supervisor que falha ao emitir um comando de parada).
Responsabilidade Graduada: A responsabilidade é frequentemente uma questão de grau, e não um ponteiro binário.

Os métodos atuais não conseguem verificar a integridade das evidências que analisam, nem possuem a semântica causal para lidar com essas estruturas não monotônicas, levando a altas taxas de erro na atribuição de culpa.

2. Metodologia: O Framework Audita

O Audita introduz um sistema de auditoria de duas camadas que acopla um substrato de evidência à prova de adulteração a um motor de atribuição causal certificado.

A. A Camada de Evidência (Registro à Prova de Adulteração)

O Audita substitui os logs padrão por um registro de comando criptograficamente seguro.

Mensagens Responsáveis: Cada comando entre agentes é uma tupla assinada $m = (a, \pi, C, \phi, \sigma)$ , contendo o autor, a carga útil (payload), citações (hashes de mensagens sobre as quais se agiu), o predicado de efeito e a assinatura.
Épocas Seladas por Merkle: As mensagens são anexadas a um registro imutável. Em intervalos fixos (épocas), o registrador assina a raiz Merkle da janela de mensagens e a encadeia ao hash do bloco anterior.
Verificação: Esta estrutura permite que qualquer parte (fornecedor, operador, regulador) verifique autoria, ordem e completude. O registro é particionado em:
- $G_{cert}$ : Mensagens com assinaturas válidas, citações resolvidas e caminhos Merkle intactos.
- Conjuntos Suspeitos/Ausentes: Mensagens que falham na verificação ou estão ausentes do registro.
Modelo de Ameaça: O sistema assume um adversário Dolev-Yao que pode ler, atrasar, reordenar ou injetar tráfego, e até mesmo deletar registros. No entanto, assume-se a custódia segura de chaves (chaves não são roubadas) e um canal registrado (toda influência atravessa o barramento).

B. A Camada Causal (Atribuição Certificada)

A atribuição é computada apenas sobre o subconjunto verificado ( $G_{cert}$ ) usando um processo de três etapas:

Fatiamento e Partição de Integridade: Após um resultado adverso declarado $Y$ , o sistema realiza um fatiamento retroativo (backward slice) do registro para identificar todas as mensagens certificadas com um caminho causal para $Y$ .
Portão de Produção: Os candidatos são filtrados para garantir que seus efeitos comprometidos foram de fato realizados e propagados para o resultado. Isso elimina comandos preempidos (aqueles cujos efeitos nunca chegaram).
Causalidade Graduada e Certificação:
- Pontuação Contrafactual: Os candidatos sobreviventes são graduados usando uma definição modificada de causalidade real de Halpern–Pearl. Um conjunto de causa mínima $X^*$ e um conjunto de testemunha $W^*$ são identificados. O grau de responsabilidade $\rho$ é calculado como:
  $\rho(X^*, W^*) = \frac{1}{|X^*| + |W^*|}$
  Isso lida naturalmente com redundância (divisão de responsabilidade) e omissão (tratando a ausência como uma variável).
- Certificação de Replay: As causas propostas não são reportadas até que sejam reexecutadas. O sistema intervém em $X^*$ (mantendo $W^*$ constante) e reexecuta o fatiamento. Se o resultado adverso for falsificado ou o risco for reduzido por uma margem $\delta$ , a causa é certificada.
- Estrutura de Veredito: A saída é um quadruplo por principal: Dever (obrigações), Violação (violação do dever), Causalidade ( $\rho$ graduado com recibos) e Dano. Isso permite achados matizados, como um agente "negligente-mas-inerte" (violação sem causalidade) ou um "conduto" (causalidade sem violação).

3. Contribuições Principais e Garantias Teóricas

O Audita fornece garantias formais sob três suposições (pilha replicável, canal registrado, custódia segura de chaves):

Teorema 1 (Fundamentação da Culpabilidade): Um agente que segue as regras nunca poderá ser visto como culpado. A culpabilidade exige que a própria conduta certificada do acusado viole um dever declarado.
Teorema 2 (Responsabilização por Desvio de Culpa): Se uma coalizão tentar desviar a culpa para um principal complacente, a tentativa será detectada. Os desvios que causam o desvio de culpa são graduados e atribuídos aos atacantes via um certificado verificável por máquina.
Teorema 3 (Não Exoneração Silenciosa): Destruir evidências não pode exonerar silenciosamente um culpado certificado. Isso apenas amplia o intervalo de incerteza ou sinaliza evidências ausentes; não pode reduzir o limite inferior de responsabilidade de um agente totalmente certificado.
Teorema 4 (Barreira de Completude): Nenhum auditor confinado ao registro pode certificar toda a culpa do resultado sem resolver a tarefa auditada em si. Se existirem erros honestos, um padrão não pode ser simultaneamente preciso (sem falsos positivos) e completo (sem falsos negativos) sem a verdade fundamental (ground truth).
Teorema 5 (Enquadramento Fundamentado): O certificado de desvio de culpa persiste em cada meta-ordem; enquadrar quem enquadra é impossível sem o próprio desvio certificado do enquadrador.

4. Resultados Experimentais

O Audita foi avaliado em dois registros: pipelines de linguagem viva e um benchmark de estruturas de incidentes físicos.

A. Falhas de Multiagentes ao Vivo (Pipeline GSM8K)

Configuração: Um pipeline de planejadores, solucionadores, agregadores e verificadores resolvendo problemas matemáticos.
Achados: 95–98% dos incidentes adversos foram falhas conjuntas de solucionador–agregador (superdeterminadas), contradizendo a suposição de culpado único de métricas existentes.
Desempenho: O Audita reduziu o erro de responsabilidade do melhor baseline de juiz de LLM de 0,589 para 0,170 (uma redução de três vezes). A variante "implementável" (sem acesso às chaves de resposta) alcançou 0,159, provando que a melhoria não é um artefato de acesso privilegiado.

B. Benchmark de Estruturas de Incidentes Físicos

Configuração: Uma biblioteca de mais de 1.000 incidentes fundamentados em registros públicos de acidentes robóticos, cobrindo redundância, preempção, omissão e gêmeos inertes (logs bit a bit idênticos com resultados físicos diferentes).
Desempenho: O Audita alcançou erro de responsabilidade de 0,000 em todas as estruturas, recuperando perfeitamente a verdade fundamental plantada.
Falha do Baseline: A pontuação contrafactual de ponto único falhou em redundância (erro 1,0) e omissão (erro 0,5). Juízes de LLM falharam em redundância (erro ~0,5) e não conseguiram distinguir gêmeos inertes.
Controles Negativos: Em 300 sorteios de "sem causa", o Audita fabricou zero culpados, enquanto os baselines (juízes e detectores de anomalias) culparam agentes inocentes em 100% dos casos.

C. Robustez

Falsificação: Sob falsificação de registro, o veredito do Audita permaneceu exato (erro 0,000), enquanto baselines não assinados viram erros subirem para 0,365 e culparam falsamente vítimas inocentes.
Ataques Internos: Mesmo com chaves válidas, agentes internos não puderam fabricar culpabilidade para um principal complacente (Teorema 1). Tentativas de desviar a culpa foram elas próprias graduadas e atribuídas aos atacantes.

5. Significância e Alegações

O artigo argumenta que o Audita transforma a questão de "quem é o culpado" de uma discussão sobre logs em um cálculo sobre evidências.

Precondição para a Responsabilização: O Audita postula que tal camada é uma precondição necessária para coletivos autônomos operando em ambientes onde a responsabilidade é exigida (ex: fábricas, logística, espaços públicos).
Vereditos Baseados em Evidências: Ele muda o paradigma de "nomear um culpado" para fornecer um "relato graduado e vinculado a evidências" destinado a servir como entrada para o julgamento humano e legal, não como um substituto.
Alinhamento Regulatório: O design aborda diretamente os requisitos da Lei de IA da UE, propondo que os registros devem ser assinados, citados, selados e causalmente analisáveis para comprar a responsabilidade.
Modéstia: Os autores reconhecem limitações: o sistema lida com incidentes discretos (não danos cumulativos sem limiares), e a evidência quantitativa é atualmente simulada (embora fundamentada em relatórios reais de acidentes). O sistema não assume a presunção de inocência; ele a prova para registros certificados.

Em resumo, o Audita fornece o primeiro mecanismo para certificar que um resultado adverso foi causado por agentes específicos em um grau específico, mesmo na presença de estruturas causais complexas e tentativas adversárias de manipular o registro, desde que as suposições criptográficas e de replay subjacentes se mantenham.