Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

Resumo Técnico: IA Agêntica para Sistemas de Multidrones em Ambientes de Segurança Crítica

Declaração do Problema
Sistemas de multidrones oferecem um potencial significativo para missões de segurança crítica, incluindo busca e salvamento (SAR), combate a incêndios e monitoramento de infraestruturas críticas. No entanto, a adoção no mundo real é dificultada não apenas pelo desempenho da autonomia técnica, mas pelo desafio sociotécnico de integrar o comportamento agêntico em fluxos de trabalho profissionais. Os operadores devem compreender, confiar e governar a automação sob condições de incerteza, pressão de tempo e alta responsabilidade. À medida que o tamanho das frotas aumenta, o modelo tradicional de um operador para um veículo falha devido à sobrecarga de coordenação, degradação da consciência situacional compartilhada e ao risco de pequenas incertezas causarem efeitos em cascata na segurança (por exemplo, conflitos de prioridades ou ambiguidades de responsabilidade). Embora avanços recentes em Grandes Modelos de Linguagem (LLMs) e IA agêntica permitam o direcionamento por linguagem natural e o planejamento de iniciativa mista, eles introduzem novos desafios de interação: representar as intenções dos agentes, supervisionar decisões e garantir o comportamento correto em ambientes de campo complexos.

Metodologia e Abordagem de Pesquisa
O artigo adota uma abordagem de pesquisa centrada no ser humano, participativa e iterativa, tratando a IA agêntica como um "material de design sociotécnico" em vez de uma solução técnica fixa. Esta metodologia baseia-se em dois projetos complementares em andamento:

1. NAMUR: Foca em respostas de emergência de tempo crítico (busca e salvamento e combate a incêndios), enfatizando ciclos de decisão rápidos, perigos dinâmicos e a necessidade de camadas de abstração unificadas através de plataformas robóticas heterogêneas.
2. PERSIST: Foca em operações persistentes de longo horizonte em infraestruturas críticas (ex: usinas de energia), enfatizando atividade sustentada, repetibilidade, passagens de turno e integração organizacional.

O processo de pesquisa envolve:

• Descoberta de Necessidades: Baseada em cenários concretos e demonstrações com partes interessadas (comandantes de incidentes, socorristas de campo, pessoal de segurança) para mapear práticas de trabalho, pontos de decisão e gargalos cognitivos.
• Prototipagem Participativa: Utilizando protótipos funcionais sucessivos como "objetos de fronteira" para negociar capacidades dos agentes, requisitos de autorização e pistas de incerteza.
• Design de Sistema: Desenvolvendo uma arquitetura que decompõe a intenção em linguagem natural em subtarefas revisáveis, restringe a execução via ferramentas determinísticas e impõe a prévia e aprovação do operador.

Principais Contribuições: A Arquitetura LLM-MAS
O artigo apresenta uma arquitetura de protótipo funcional: um Sistema Multiagente de Grande Modelo de Linguagem (LLM-MAS) projetado para o controle de multidrones. Este sistema é composto por cinco agentes especializados que se conectam a ferramentas determinísticas externas (ex: computação espacial, execução de movimento, armazenamento de memória, agendamento de tarefas):

1. Agente Coordenador: Atua como o orquestrador central, inferindo a intenção do operador e decompondo comandos em subconsultas delegadas a agentes subordinados.
2. Agente de Eventos: Gerencia diretrizes periódicas, atrasadas e orientadas ao futuro (ex: estimativa de biomassa agendada ou comandos de retorno à base), garantindo que as tarefas sejam executadas ou reportadas no momento apropriado.
3. Agente Espacial: Fornece consciência situacional ao acessar mapas GeoJSON e posições em tempo real de drones e socorristas. Ele identifica características semânticas do mapa e computa relações espaciais.
4. Agente de Enxame (Swarm): Lida com o planejamento de movimento e execução de tarefas. Ele seleciona plataformas de drones adequadas com base na disponibilidade e contexto. Crucialmente, todas as solicitações geradas por este agente estão sujeitas à prévia e confirmação do operador antes da execução. Ele publica ações em um tópico ROS para acionar pipelines de controle de voo.
5. Agente de Sumarização: Gera resumos concisos e legíveis por humanos sobre ações executadas e estados do sistema. Estes são armazenados na memória de interação para fornecer contexto para turnos subsequentes de diálogo, permitindo interações de múltiplos turnos coerentes e resolução de referências (ex: "mova isso para a zona segura mais próxima").

O sistema depende do contexto de implantação; para SAR, as ferramentas suportam planejamento de trajetória de cobertura conforme as normas, enquanto para monitoramento de infraestrutura, as ferramentas suportam a geração de trajetórias de voo para estimativa de biomassa.

Resultados e Descobertas
O artigo sintetiza lições de engajamentos de campo anteriores e avaliações de protótipos para identificar oportunidades e tensões fundamentais:

• Oportunidades: A IA agêntica pode reduzir a sobrecarga de coordenação ao fornecer atenção/sumarização seletiva, permitindo o planejamento de iniciativa mista que mantém a cobertura conforme as informações mudam, e apoiando a orquestração de longo horizonte (agendamento, triagem de anomalias).
• Tensões: Os autores identificam tensões de segurança críticas que a autonomia sozinha não pode resolver:
  • A necessidade de sistemas que operem sem atenção constante, mas que resistam ao comportamento de "caixa-preta".
  • O risco de que alertas fortes melhorem o desempenho de curto prazo, mas causem "tunelamento de atenção", reduzindo a supervisão holística.
  • A necessidade de confiança calibrada sob percepção imperfeita, exigindo padrões conservadores e fluxos de trabalho de verificação.
  • O requisito de adequação operacional, incluindo alinhamento com funções, protocolos e trilhas de decisão auditáveis.

O protótipo funcional foi demonstrado no controle ao vivo de Veículos Terrestres Não Tripulados (UGVs) e Veículos Aéreos Não Tripulados (UAVs), validando a decomposição de linguagem natural em subtarefas revisáveis e a aplicação de aprovação explícita do operador.

Significância e Alegações
O artigo argumenta que a IA agêntica para o trabalho de segurança crítica deve ser abordada como um problema de design sociotécnico, onde interfaces, mecanismos de supervisão e práticas de avaliação são tão críticos quanto os próprios algoritmos. Os autores alegam que sua abordagem apoia pesquisas futuras ao operacionalizar a "autonomia agêntica governável" através de três implicações principais:

1. Governabilidade como Propriedade Central: Pontos de autorização, restrições e mecanismos de intervenção devem ser propriedades explícitas e auditáveis do sistema, não apenas adições de interface de usuário.
2. Uso de Ferramentas Restritas: O comportamento agêntico deve ser construído a partir do uso de ferramentas restritas e inspecionáveis, em vez de ação livre não restrita, para garantir modos de falha previsíveis e depuração reproduzível.
3. Avaliação no Mundo Real: A avaliação deve refletir o uso operacional real, medindo não apenas o sucesso da tarefa, mas também a consciência situacional, a calibração da confiança, a sobrecarga de coordenação e o suporte para revisões de pós-ação responsáveis.

O artigo conclui que, embora a IA agêntica prometa escalar as operações de multidrones, seu implantação bem-sucedida depende do engajamento iterativo das partes interessadas para moldar sistemas que permaneçam transparentes, aprendíveis e alinhados com protocolos locais e práticas de responsabilidade.