Cognition Envelopes for Bounded Decision Making in Autonomous UAS Operations

Este artigo propõe o conceito de "Cognition Envelopes" para estabelecer limites de raciocínio que restringem decisões geradas por IA em sistemas ciber-físicos, como drones de busca e resgate, mitigando erros como alucinações e validando a abordagem por meio de uma análise probabilística de pistas.

O essencial

Imagine que você tem um drone muito inteligente, capaz de voar sozinho e procurar pessoas perdidas em uma floresta. Para fazer isso, o drone usa uma "mente" superpoderosa baseada em Inteligência Artificial (como os modelos de linguagem que você vê hoje em dia). Essa mente é ótima para ver coisas, pensar e planejar rotas.

Mas, assim como qualquer pessoa muito criativa, essa IA às vezes alucina. Ela pode inventar coisas que não existem, tirar conclusões erradas ou planejar uma missão que parece boa no papel, mas é impossível de executar na vida real (como tentar voar sobre um rio profundo com uma bateria quase vazia).

É aqui que entra o conceito de "Envelope de Cognição" (Cognition Envelope), proposto por este artigo.

A Analogia do "Guardião Sóbrio"

Pense na IA do drone como um piloto de corrida muito talentoso, mas que está um pouco embriagado de criatividade. Ele quer ir rápido e fazer manobras arriscadas.

O Envelope de Cognição é como um guardião sóbrio e experiente sentado ao lado dele.

• O piloto (IA) grita: "Vou virar à esquerda e pular aquele rio!"
• O guardião (Envelope) olha para os dados, checa o mapa, verifica a bateria e diz: "Espera aí. Você não tem combustível para cruzar o rio, e a IA pode estar alucinando que há uma ponte onde não existe. Vamos mudar o plano."

Diferente de um "cinto de segurança" (que apenas impede o drone de bater em montanhas ou sair de uma área geográfica), o Envelope de Cognição verifica se a ideia do drone faz sentido lógico e se está baseada em evidências reais.

Como funciona na prática (A Missão de Resgate)

Os pesquisadores testaram isso em missões de busca e resgate (SAR). O cenário é o seguinte:

1. O Olho do Drone: O drone voa e vê algo no chão. Pode ser uma mochila, um óculos quebrado ou uma pegada.
2. A Mente da IA (O Pipeline): A IA analisa a foto e diz: "Isso é um óculos! A pessoa perdida usava óculos. Vamos voar em direção àquele lago agora!"
3. O Envelope de Cognição (O Verificador): Antes de o drone obedecer, o Envelope entra em ação. Ele usa duas ferramentas principais:
   • O Mapa de Probabilidade (pSAR): Ele calcula: "Se a pessoa foi vista aqui há 1 hora, é provável que ela esteja aqui, e improvável que esteja ali, a 10 km de distância, a menos que ela voe." Se a IA sugerir ir para um lugar onde a probabilidade é zero, o Envelope bloqueia.
   • O Medidor de Custo (MCE): Ele pergunta: "Quanto bateria e tempo isso vai gastar?" Se a missão sugerida pela IA vai deixar o drone sem energia antes de voltar, o Envelope diz: "Não, isso é caro demais. Vamos pedir ajuda a um humano."

O Resultado: Quando a IA erra, o Envelope acerta

O estudo mostrou que, às vezes, a IA pode ficar confusa.

• Cenário 1: A IA vê uma mochila velha e acha que é da pessoa perdida. O Envelope olha para o mapa e diz: "Essa mochila está a 50km do local onde a pessoa foi vista. É muito improvável. Vamos pedir para um humano verificar."
• Cenário 2: A IA vê algo relevante, mas sugere um plano de voo que gastaria toda a bateria. O Envelope diz: "A ideia é boa, mas o plano é perigoso. Vamos ajustar a rota."

Por que isso é importante?

Hoje, confiamos em IAs para tomar decisões importantes. Mas IAs podem cometer erros bobos ou perigosos porque elas "adivinharam" a resposta em vez de calcular a realidade.

O Envelope de Cognição não tenta substituir a IA. Ele é uma camada de segurança extra que garante que a IA não esteja "sonhando acordada" quando a vida de alguém está em jogo. Ele funciona como um checador de realidade que garante que cada decisão do drone tenha base em fatos, probabilidades e recursos reais.

Resumo em uma frase

É como ter um co-piloto especialista em lógica que não deixa o drone fazer nada que a IA inventou, garantindo que a busca por pessoas perdidas seja feita com inteligência, segurança e base na realidade.

Resumo técnico

Resumo Técnico: Envelopes de Cognição para Tomada de Decisão Limitada em Operações de UAS Autônomos

1. O Problema

Sistemas Ciber-Físicos (CPS), como Sistemas Aéreos Não Tripulados (sUAS), estão cada vez mais dependentes de Modelos Fundamentais (como Grandes Modelos de Linguagem - LLMs e Modelos Visão-Linguagem - VLMs) para percepção, inferência e planejamento. Embora esses modelos aumentem a autonomia, eles introduzem novos tipos de erros críticos, como alucinações, generalizações excessivas e desalinhamentos de contexto.

Em domínios de missão crítica, como Busca e Resgate (SAR), falhas na tomada de decisão podem comprometer objetivos, colocar vidas em risco e erodir a confiança. Mecanismos existentes, como:

• Metacognição: O modelo critica a si mesmo, mas permanece acoplado ao mesmo processo generativo, herdando as mesmas "pontos cegos" e premissas alucinadas.
• Envelopes de Segurança (Safety Envelopes): Limitam estados físicos (ex: geofencing, velocidade), mas não validam a semântica ou a lógica da decisão (um plano pode ser fisicamente seguro, mas semanticamente errado para a missão).

Existe uma lacuna na engenharia de software para definir, validar e garantir envelopes que verifiquem a racionalidade e a base de evidências das decisões geradas por IA.

2. Metodologia e Abordagem

Os autores propõem o conceito de Envelope de Cognição (Cognition Envelope) e o implementam em um pipeline de análise de pistas para missões SAR com sUAS.

Definição Formal:
Um Envelope de Cognição é uma camada de garantia em tempo de execução que atua como um "portão" (gate) para a execução de decisões de modelos fundamentais. É definido como uma tupla $E = \langle d, e, M, s, G \rangle$:

• $d$: Decisão candidata gerada pelo pipeline.
• $e$: Evidência externa e contexto de execução.
• $M$: Modelo semântico externo que avalia $d$ sob $e$.
• $s$: Sinal de aceitabilidade semântica (ex: pontuação, resultado de restrição).
• $G$: Regra de portão que decide se a decisão é aceita, revisada ou escalada para um humano.

Caso de Uso: Pipeline de Análise de Pistas (CAP)
O sistema utiliza sUAS para detectar pistas visuais (ex: mochilas, óculos quebrados) e planejar ações subsequentes. O pipeline CAP possui quatro estágios baseados em LLM (GPT-4o):

1. Captioner: Descreve a pista.
2. Relevance Checker: Avalia a relevância da pista para a pessoa perdida (usando RAG).
3. Task Planner: Gera tarefas de busca (ex: "procurar na área X").
4. Triager: Decide se a tarefa é executada autonomamente ou escalada.

Componentes do Envelope de Cognição (O Modelo $M$):
Para validar as decisões do CAP, o envelope utiliza dois validadores externos independentes:

1. pSAR (Probabilidade de Área para Pessoa Perdida): Um modelo probabilístico baseado em campos de potencial. Ele calcula a probabilidade de a pessoa estar em uma área específica, considerando:
   • Kernel de Acessibilidade: Tempo de viagem estimado a partir do Último Ponto Conhecido (LKP), considerando terreno e obstáculos.
   • Kernel de Afinidade: Preferências comportamentais (ex: seguir trilhas, evitar água).
   • O modelo atualiza dinamicamente a probabilidade espacial quando uma nova pista é detectada.
2. MCE (Mission Cost Evaluator): Avalia o custo de tempo e energia de executar o plano proposto.

Mecanismo de Decisão (Portão $G$):
O envelope classifica a decisão em ACEITAR, ALERTAR ou REJEITAR com base em:

• Percentil da área proposta em relação à distribuição de probabilidade.
• Razão em relação à melhor candidata.
• Entropia (incerteza do modelo): Se a incerteza é alta, os limites de aceitação tornam-se mais flexíveis para permitir exploração; se baixa, são estritos.

3. Contribuições Principais

1. Conceito de Envelope de Cognição: Definição formal de uma camada de garantia que opera no nível semântico da decisão, distinta de envelopes de segurança física ou metacognição interna.
2. Pipeline de Validação em SAR: Implementação prática de um sistema onde modelos fundamentais (LLM/VLM) são supervisionados por modelos probabilísticos clássicos (pSAR) e heurísticos (MCE).
3. Framework de Validação Experimental: Criação de 10 cenários (vignettes) baseados em missões reais de SAR, com 350 testes variados (alterando pistas, condições climáticas, tempo decorrido e localização).
4. Análise de Engenharia de Software: Identificação de desafios críticos para a implementação desses sistemas, como escopo, alinhamento de dados, verificação do verificador e engajamento humano.

4. Resultados e Análise

Os experimentos foram conduzidos em simulação com 350 testes únicos.

• Eficácia na Detecção de Erros: O Envelope de Cognição foi eficaz em rejeitar planos que contradiziam a evidência probabilística.
  • Quando o modelo pSAR não atualizava as probabilidades com base na nova pista, planos fora da área de busca esperada tinham uma taxa de rejeição de 44% (Grupo 2).
  • Quando o pSAR atualizava as probabilidades (incorporando a nova pista), a taxa de aprovação de planos na vizinhança da pista aumentou significativamente, permitindo maior autonomia.
• Papel da Metacognição vs. Envelope Externo: O pipeline interno (CAP) conseguiu identificar 95% das pistas irrelevantes (ex: uma bicicleta quebrada ao procurar uma criança). No entanto, o Envelope de Cognição foi crucial para validar a plausibilidade da ação (ex: enviar um drone para uma área de alta probabilidade mas com custo energético proibitivo ou fisicamente inacessível).
• Gestão de Incerteza: O uso de thresholds adaptativos baseados na entropia permitiu que o sistema fosse mais rigoroso quando confiante e mais aberto à revisão humana quando a incerteza era alta.

5. Significado e Desafios Futuros

O trabalho demonstra que é possível integrar IA generativa em sistemas ciber-físicos críticos sem sacrificar a segurança, desde que existam guardrails externos independentes.

Desafios de Engenharia de Software Identificados:

• Escopo do Envelope: Definir claramente o que o envelope verifica para evitar falsa segurança.
• Alinhamento com Verdade Terrena sob Incerteza: Lidar com dados de sensores ruidosos que podem introduzir viés de confirmação no validador.
• Verificação do Verificador: Garantir que o próprio modelo probabilístico (pSAR) não contenha falhas lógicas.
• Engajamento Humano: Criar critérios de hand-off que evitem interrupções excessivas ou intervenção tardia.
• Explicabilidade: Garantir que as decisões de rejeição/aceitação sejam auditáveis e explicáveis para reguladores.

Conclusão:
O artigo estabelece uma base sólida para o desenvolvimento de sistemas autônomos confiáveis, propondo que a validação semântica externa (Envelope de Cognição) é essencial para mitigar os riscos de alucinação e erro de raciocínio dos modelos fundamentais, permitindo uma autonomia segura e escalável em missões de busca e resgate.