Resumo Técnico: TOAIAF – Um Plano de Controle de Garantia de IA em Tempo de Execução

1. Definição do Problema

O artigo aborda a lacuna de governança criada pela transição da predição de IA limitada para a IA Agêntica autônoma implantada em dispositivos de borda para consumidores (hubs de casas inteligentes, wearables, ambientes ambientes). Enquanto os frameworks de governança existentes (ex: NIST AI RMF, ISO/IEC 42001, Lei de IA da UE) operam em nível organizacional ou de auditoria periódica, eles carecem de mecanismos para o controle por decisão em tempo de execução.

Essa ausência deixa agentes em dispositivos vulneráveis a seis modos de falha específicos que ocorrem entre um agente propor uma ação e sua execução:

1. Má Generalização de Objetivos (Goal Misgeneralization): Perseguir objetivos substitutos distintos da intenção do usuário.
2. Atuação Insegura Irreversível: Ações físicas (ex: destrancar portas) que não podem ser "filtradas" após a execução.
3. Injeção de Prompt (Prompt Injection): Conteúdo não confiável que incorpora instruções para contornar verificações de escopo.
4. Uso Indevido de Ferramentas (Tool Misuse): Solicitar capacidades mais amplas do que o escopo autorizado.
5. Exposição de Privacidade Inferencial: Vazamento de informações sensíveis através do comportamento do modelo sem compartilhamento explícito de dados.
6. Supervisão Humana Insuficiente: Uma falta de métricas mensuráveis para camadas de governança humana.

A questão central de pesquisa é se um procedimento de decisão em tempo de execução, estagiado e formalmente especificado, impulsionado por métricas de confiança operacionalizadas, pode melhorar mensuravelmente os resultados de governança em comparação com a ausência de governança ou simples salvaguardas baseadas em palavras-chave, sem degradar o desempenho em solicitações benignas.

2. Metodologia e Arquitetura

Os autores propõem o TOAIAF, um Plano de Controle de Garantia de IA em tempo de execução composto por sete componentes e um algoritmo de decisão de três estágios (Algoritmo 1).

Componentes da Arquitetura

1. Mecanismo de Aplicação de Política (Policy Enforcement Engine): Aplica verificações rígidas de capacidade/permissão (Estágio 1).
2. Camada de Governança de Tempo de Execução do Agente: Monitora o loop observar-raciocinar-planejar-agir-aprender para detectar desvios.
3. Mecanismo de Avaliação de Confiança: Converte seis métricas operacionalizadas em um vetor de confiança $\tau(t)$.
4. Mecanismo de Explicabilidade: Gera resumos de decisão e evidências, evitando explicitamente suposições de fidelidade de cadeia de pensamento (chain-of-thought faithfulness).
5. Camada de Garantia de Privacidade e Segurança: Lida com minimização de dados, criptografia e riscos de privacidade inferencial.
6. Fronteira de Supervisão Humana: Fornece mecanismos de consentimento, sobreposição (override) e parada segura alinhados ao Artigo 14 da Lei de IA da UE.
7. Loop de Garantia de Aprendizado Contínuo: Gerencia atualizações de política/modelo e testes de regressão.

O Procedimento de Decisão (Algoritmo 1)

O plano de controle media cada ação proposta através de um processo de três estágios:

• Estágio 1 (Verificação de Capacidade Rígida): Uma verificação de contenção de conjunto. Se o escopo solicitado não for um subconjunto do escopo autorizado, a ação é imediatamente PARADA.
• Estágio 2 (Portão de Segurança Não-Compensatório): Um portão onde limiares específicos para Conformidade de Segurança ($SCI$) e Risco de Privacidade ($PRI$) são verificados. Se $SCI < \theta_{safety}$ ou $PRI > \theta_{privacy}$, a ação é PARADA ou RESTRITA, independentemente de pontuações altas em outras métricas (propriedade não-compensatória).
• Estágio 3 (Agregação Ponderada pelo Risco): Calcula uma pontuação de risco composta e uma Pontuação de Confiabilidade do Agente (ATS) baseada em uma soma ponderada de métricas. Os vereditos variam de PERMITIR até AVISAR, SOLICITAR_APROVAÇÃO, RESTRINGIR ou PARAR.

Métricas de Confiança Operacionalizadas

O sistema utiliza seis métricas:

1. Pontuação de Confiabilidade do Agente (ARS): Conclusão de tarefas e consistência comportamental.
2. Pontuação de Alinhamento de Objetivos (GAS): Distância entre ações executadas e objetivos do usuário.
3. Índice de Risco de Privacidade (PRI): Inclui exposição, retenção, compartilhamento e sensibilidade inferencial.
4. Pontuação de Confiança de Explicabilidade (ECS): Baseada em cobertura, fidelidade (via perturbação) e interpretabilidade do usuário.
5. Índice de Conformidade de Segurança (SCI): Razão entre violações de política e transações monitoradas.
6. Pontuação de Eficácia da Supervisão Humana (HOES): Novamente introduzida para medir a responsividade de sobreposição, cobertura de consentimento e latência de escalonamento.

3. Avaliação Experimental

Os autores avaliaram a lógica de decisão usando um benchmark sintético gerado por templates de 100 cenários em seis categorias de risco (benigno, política insegura, risco de privacidade, desalinhamento de objetivo, injeção de prompt, uso indevido de ferramenta) e três domínios (casa inteligente, wearable, ambiente).

Comparadores:

• Linha de Base Não Governada: Todas as ações são permitidas.
• Linha de Base de Salvaguarda por Palavra-Chave: Bloqueia ações contendo palavras-chave proibidas específicas.

Resultados Principais (Taxas de Sinalização):

• Violações de Política de Segurança: TOAIAF 100% vs. Salvaguarda 100% vs. Não Governado 0%.
• Risco de Privacidade: TOAIAF 92,3% vs. Salvaguarda 23,1% vs. Não Governado 0%.
• Desalinhamento de Objetivo: TOAIAF 92,3% vs. Salvaguarda 0% vs. Não Governado 0%.
• Injeção de Prompt: TOAIAF 100% vs. Salvaguarda 75% vs. Não Governado 0%.
• Uso Indevido de Ferramentas: TOAIAF 100% vs. Salvaguarda 27,3% vs. Não Governado 0%.
• Cenários Benignos: TOAIAF 0% de restrições falsas (vs. 0% para os outros).

Achados de Ablação e Calibração:
O artigo relata transparentemente dois achados críticos onde as vantagens arquiteturais esperadas não foram isoladas:

1. Confundimento do Portão de Segurança: Remover o portão de segurança do Estágio 2 não produziu mudança mensurável nas taxas de sinalização (23/24 cenários sinalizados de qualquer forma). Os autores atribuem isso a um confundimento de design no conjunto de dados, onde a pontuação de risco do Estágio 3 disparou sinalizações independentemente para os mesmos cenários, em vez de uma falta de valor no portão em si.
2. Calibração do HOES: Incluir a Pontuação de Eficácia da Supervisão Humana (HOES) reduziu ligeiramente a sensibilidade (47/49 sinalizados vs. 48/49 sem ela) devido à calibração atual de pesos, indicando que a métrica ainda não adiciona uma margem de segurança de forma confiável.
3. Lacuna de Design (Veredito WARN): Uma implementação de protótipo revelou que o veredito WARN atualmente permite que as ações sejam executadas. Para ações fisicamente irreversíveis (ex: destrancar uma porta), este é um limite divulgado e não resolvido, onde um aviso é registrado, mas a ação prossegue.

4. Principais Contribuições

1. Procedimento de Decisão Formal: Um algoritmo de três estágios combinando verificações de capacidade rígidas, portões de segurança não-compensatórios e agregação de risco ponderada.
2. Conjunto de Métricas: Definições operacionais para seis métricas de confiança, incluindo o novo HOES para fechar uma lacuna estrutural na medição da governança humana.
3. Benchmark e Avaliação: Um benchmark sintético de 100 cenários e sete experimentos demonstrando que a lógica de decisão supera as salvaguardas de palavras-chave, particularmente em desalinhamento de objetivos e injeção de prompt.
4. Protótipo e Identificação de Lacunas: Uma implementação de referência que revelou uma lacuna de design genuína em relação à incapacidade do veredito WARN de bloquear ações irreversíveis.
5. Mapeamento de Padrões: Um cruzamento mapeando os componentes do TOAIAF para NIST AI RMF, ISO/IEC 42001, IEEE 7001–7003 e a Lei de IA da UE.

5. Significância e Alegações

O artigo afirma que o TOAIAF fornece um mecanismo para governança em tempo de execução onde os instrumentos existentes fornecem apenas diretrizes de processo. Sua significância reside em:

• Ir além de auditorias periódicas: Fornecer um loop de controle computado por máquina por decisão, adequado para dispositivos de borda.
• Design centrado no consumidor: Integrar uma Fronteira de Supervisão Humana calibrada para usuários leigos, ao contrário das arquiteturas de segurança focadas em empresas.
• Segurança Não-Compensatória: Impedir explicitamente que altas pontuações de confiança em uma área (ex: confiabilidade) compensem falhas críticas em segurança ou privacidade.

Modéstia e Limitações:
Os autores são explícitos sobre o escopo de seu estudo:

• A avaliação é sintética; ela testa a lógica de decisão dados os inputs das métricas, não a capacidade de computar essas métias a partir de agentes de IA reais ou hardware real.
• As ablações do portão de segurança e da verificação de política foram confundidas neste conjunto de dados específico, o que significa que a contribuição independente desses estágios não foi demonstrada aqui.
• A limitação do veredito WARN para ações irreversíveis permanece não resolvida.
• O Loop de Aprendizado Contínuo é especificado, mas não implementado no código fornecido.
• A validação futura requer traços de agentes reais, testes em hardware (hardware-in-the-loop) e benchmarks externos (AgentHarm, AgentDojo, R-Judge).

O artigo conclui que, embora a lógica de decisão mostre promessa em relação às linhas de base de palavras-chave, os mecanismos arquiteturais específicos exigem maior isolamento e validação em implantações do mundo real.