🤖 AI

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

O artigo apresenta o CockpitHAT, um framework de atribuição hierárquica que aproveita grafos de dependência, evidências multicanais e avaliação consciente de segurança para diagnosticar eficazmente falhas de nível de processo em sistemas de cockpit multiagente incorporados, superando os métodos existentes baseados apenas em texto tanto em benchmarks públicos quanto em novos benchmarks lançados.

Autores originais: Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando uma equipe de robôs trabalhando juntos para dirigir um carro. Eles conversam entre si, verificam o mapa e decidem quando girar o volante. Este é o mundo dos sistemas multiagentes: grupos de agentes de IA colaborando para resolver problemas. Mas aqui está a parte complicada: às vezes os robôs acertam o destino final, mas seguiram um caminho terrível e perigoso para chegar lá. Talvez eles tenham quase batido em um muro apenas para evitar uma poça, ou desligaram os faróis porque entenderam mal uma piada. Isso é chamado de "Colapso da Correção" (Correctness Collapse). É como um aluno que tira um 'A' em uma prova de matemática porque adivinhou a resposta certa, mas seu trabalho mostra que ele esqueceu como somar números. Em um carro, adivinhar a resposta certa não é suficiente; o processo também tem que ser seguro.

Para corrigir isso, os cientistas precisam atuar como detetives. Eles precisam analisar a conversa dos robôs e descobrir exatamente quem cometeu o erro e quando ele aconteceu. Isso é chamado de atribuição. Normalmente, os detetives apenas leem os registros de chat. Mas em um carro, os robôs também conversam com o motor, o GPS e os sensores. Se um robô diz "estou bem", mas o motor está pegando fogo, um registro de chat sozinho não dirá a verdade. Você precisa olhar para o quadro completo: as palavras, o estado do carro e o ambiente. Este artigo apresenta uma nova maneira de ser um detetive que observa todos esses sinais ao mesmo tempo, especificamente para carros que dirigem sozinhos ou possuem assistentes inteligentes.

O Novo Kit de Ferramentas do Detetive: CockpitHAT

Os pesquisadores da ByteDance construíram um novo sistema chamado CockpitHAT para resolver o problema do "Colapso da Correção" em cabines de carros (cockpits). Eles perceberam que os métodos antigos de detetive eram simples demais. Eles geralmente analisavam uma conversa como uma linha de texto, assumindo que o que aconteceu imediatamente antes de um erro era a causa. Mas em uma equipe complexa de robôs, a causa de um acidente pode ter ocorrido dez passos atrás, ou pode estar escondida em um sinal que o carro enviou para os freios, não nas palavras que os robôs falaram.

O Mapa de Dependência: Seguindo o Rastro, Não o Relógio
Imagine que você está tentando descobrir quem derramou um copo de leite. Se você apenas olhar para quem estava perto da mesa quando ele caiu, pode culpar a pessoa errada. Talvez a pessoa que o derrubou tenha feito isso cinco minutos atrás, e a pessoa que está lá agora apenas aconteceu de estar presente.

O CockpitHAT utiliza um Grafo de Dependência em vez de uma simples linha do tempo. Pense nisso como um mapa de conexões de "causa e efeito" em vez de um relógio. Ele pergunta: "Esta ação dependeu daquela ação anterior?". Se o Robô A enviou um comando que o Robô B usou, eles estão conectados, mesmo que tenham falado em momentos diferentes. Se dois robôs estavam apenas conversando sobre o tempo, mas não afetaram os freios do carro, eles estão distantes no mapa, mesmo que tenham falado com um segundo de diferença. Ao fatiar a investigação com base nessas conexões (o quão "próximas" as ações estão no mapa) em vez de apenas no tempo, o CockpitHAT consegue identificar o verdadeiro culpado muito melhor.

O Adaptador "Embodied": Ouvindo o Batimento Cardíaco do Carro
O maior problema dos métodos antigos é que eles apenas ouvem as vozes dos robôs. Mas em um carro, a "voz" não são apenas palavras; é também o velocímetro, a temperatura do motor e a memória do que aconteceu na última viagem.

O CockpitHAT adiciona um Adaptador de Canal Incorporado (Embodied Channel Adapter) especial. Imagine isso como um tradutor que ouve não apenas a conversa, mas também as luzes do painel do carro e o nervosismo do motorista. Se um robô diz "Tudo limpo", mas os sensores do carro detectam um pedestre, este adaptador sinaliza isso imediatamente. Ele traz esse sinal perigoso para a frente da investigação, garantindo que os avisos de segurança não sejam enterrados profundamente no histórico. Ele trata as violações de segurança como os sinais mais importantes, forçando-os para o início da fila, independentemente de quando ocorreram.

O Júri Focado na Segurança
Uma vez reunidas as pistas, o CockpitHAT não escolhe apenas uma resposta. Ele utiliza um painel de quatro analistas de IA para votar no que aconteceu. Um desses analistas é um "Especialista em Segurança" dedicado, cujo único trabalho é procurar perigo. Se o grupo estiver discutindo se um erro foi menor ou de vida ou morte, o Especialista em Segurança recebe um peso extra.

O sistema utiliza uma regra de votação especial: se houver qualquer chance de o erro ser perigoso (como um potencial acidente), o sistema assume o pior cenário possível para garantir a segurança. É melhor ser excessivamente cauteloso e dizer "Isso é perigoso" do que perder uma ameaça real. Isso garante que o relatório final destaque as falhas mais críticas, não apenas as mais óbvias.

O Que Eles Descobriram

A equipe testou seu novo sistema de detetive em dois tipos de desafios. Primeiro, utilizaram testes existentes (chamados Who&When) que possuíam rastros de falha criados manualmente e algoritmicamente. Nesses testes, o CockpitHAT foi uma grande melhoria em relação aos métodos anteriores mais eficazes.

Ele identificou corretamente o robô errado 77,9% das vezes em testes manuais e 86,5% em testes gerados por computador.
Ele localizou o momento exato do erro 37,8% das vezes em testes manuais e 46,0% em testes gerados por computador.
Isso representou um salto massivo de até 17,6 pontos de precisão em comparação aos antigos campeões de "apenas texto".

Segundo, eles criaram seu próprio teste novo chamado COCKPITBENCH. Esta foi uma coleção especial de 212 histórias de falhas especificamente para carros, incluindo dados do mundo real e casos extremos complicados. Essas histórias foram rotuladas com níveis de severidade ASIL ISO 26262 (uma forma padrão de classificar o quão perigosa é uma falha, de A a D).

Neste novo teste rigoroso, o CockpitHAT encontrou o agente errado 78,3% das vezes e o passo exato 38,2% das vezes.
Foi particularmente bom em detectar violações de segurança, que são as mais críticas de serem capturadas.

Por Que Isso Importa

O artigo sugere que, para a IA ser segura em ambientes físicos do mundo real, como carros, não podemos apenas olhar para o texto que escrevem. Temos que entender como suas ações dependem umas das outras e como elas interagem com o mundo físico. O CockpitHAT mostra que, ao mapear essas dependências e ouvir os sensores do carro, podemos capturar erros perigosos que outros sistemas perdem.

No entanto, os autores ressaltam cuidadosamente que esta é uma ferramenta de diagnóstico após o fato, não um sistema que impede acidentes em tempo real. Ajuda engenheiros a entender o que deu errado para que possam consertar os robôs antes de voltarem a dirigir. Eles também admitem que seu sistema depende de sinais claros e pode ter dificuldades se os robôs estiverem usando conhecimento oculto ou se o carro estiver em uma situação completamente nova e confusa. Mas, por enquanto, oferece uma janela muito mais clara para dentro da "caixa preta" dos sistemas multiagentes de carros, transformando um emaranhado confuso de erros em um mistério solucionável.

Resumo Técnico: CockpitHAT

Declaração do Problema

Sistemas multiagentes de Grandes Modelos de Linguagem (LLMs) em ambientes incorporados (embodied) de missão crítica, como cockpits automotivos, sofrem de um fenômeno denominado Colapso de Correção (Correctness Collapse). Neste cenário, os sistemas podem atingir alta precisão ao nível da tarefa enquanto mascaram falhas severas ao nível do processo. Em contextos automotivos, isso é particularmente perigoso porque enunciados lexicalmente corretos podem disparar operações físicas perigosas (ex: desativar luzes de visibilidade) que só são detectáveis através de canais não textuais, como o estado do veículo ou o contexto ambiental.

Os métodos de atribuição existentes falham em abordar este regime por duas razões primárias:

Limitações Metodológicas: As abordagens atuais dependem exclusivamente de rastros textuais e janelas posicionais, ignorando estruturas de dependência e evidências multicanais (estado do veículo, ambiente, memória). Elas carecem de mecanismos para incorporar rótulos de severidade de segurança ISO 26262 (ASIL).
Deficiências de Benchmarks: Os suítes de avaliação existentes são puramente textuais, de agente único ou carecem de anotações de severidade de segurança, sub-representando sistematicamente falhas catastróficas raras e omitindo rótulos de segurança críticos.

Metodologia: COCKPITHAT

Os autores introduzem o COCKPITHAT, um framework de atribuição hierárquica projetado para diagnosticar falhas em sistemas multiagentes incorporados, integrando grafos de dependência, evidências multicanais e consenso consciente de segurança.

1. Fatiamento Hierárquico Baseado em Grafo de Dependência

Em vez de usar janelas posicionais fixas, o COCKPITHAT constrói um Grafo Acíclico Dirigido (DAG) a partir do rastro de interação.

Construção do Grafo: Os nós representam ações de agentes (texto ou chamadas de ferramentas). Arestas direcionadas são induzidas com base em quatro sinais operacionais: referência (vinculação de entidade), plano (execução de planos propostos), ferramenta (uso de saída de ferramenta) e controle (delegação de tarefas).
Distância de Dependência: A seleção de contexto é baseada na distância do caminho mais curto no DAG ($dd$) em vez da adjacência temporal.
Fatiamento de Quatro Camadas: Para qualquer passo focal, o contexto é fatiado em quatro camadas baseadas na distância de dependência:
- Imediata ($dd=1$): Conteúdo verbatim com cadeias de raciocínio completas.
- Local ($dd=2$): Comprimido para ações e compromissos principais.
- Distante ($dd=3,4$): Resultados sumarizados (máximo de 20 palavras).
- Global ( $dd \ge 5$ ): Marcos esparsos (decisões, falhas, passagens de controle).

2. Adaptador de Canal Incorporado (ECA)

Para abordar falhas invisíveis no texto (ex: violações de segurança, erro de fundamentação ambiental), um Adaptador de Canal Incorporado (Embodied Channel Adapter - ECA) é empregado quando o esquema do rastro inclui canais laterais (ambiente, estado do veículo, memória).

Varredura de Saliência: Um LLM leve varre o rastro para sinalizar passos associados a quatro classes de falha: Risco de Interação, Erro de Fundamentação Ambiental, Violação de Segurança e Contaminação entre Domínios.
Promoção Consciente de Canal: Nós sinalizados são promovidos para camadas de contexto superiores (mais próximas da camada imediata), independentemente de sua distância de dependência. Especificamente, Violações de Segurança são forçadas para a camada imediata ( $L_1$ ).
Anexo de Evidência: Dados de canais later relevantes (ex: estado do veículo $\sigma$ , ambiente $e$ , memória $m$ ) são anexados aos nós promovidos com base na etiqueta de falha.

3. Consenso de Objetivo com Elevação de Segurança

O framework utiliza um painel de analistas especializados para resolver a atribuição, indo além da agregação de custo simétrica.

Painel Multi-Analista: Cada rastro é analisado por $K=4$ agentes: um Analista de Segurança obrigatório (priorizando a severidade ISO 26262) e três analistas genéricos amostrados de um pool de personas diversas.
Consenso em Duas Etapas:
1. Prioridade de Severidade Máxima: A classificação de severidade final ( $\eta^*$ ) é determinada pela severidade prevista máxima entre os analistas confiantes, evitando que alarmes de alto risco sejam anulados por votação.
2. Agregação com Elevação de Segurança: Os pesos dos analistas são ajustados assimetricamente com base na severidade prevista. Previsões de alta severidade recebem uma "elevação de segurança" (crescimento superlinear), garantindo que falhas críticas de segurança não sejam diluídas pelo consenso genérico.
Resolução de Desacordo: Se as pontuações marginais caírem abaixo de um limiar calibrado, um protocolo força os analistas a citar evidências explícitas, com um desempate mecânico que favorece hipóteses suportadas por evidências concretas do rastro.

Principais Contribuições

Framework COCKPITHAT: Um novo sistema de atribuição que substitui janelas posicionais por limiares de distância de dependência, integra evidência incorporada multicanal via um adaptador e aplica um mecanismo de elevação de segurança ao consenso de votação.
COCKPITBENCH: Um novo benchmark composto por 212 rastros de falha anotados abrangendo canais de diálogo, estado do veículo, ambiente e memória.
- Os rastros cobrem oito categorias de falha e quatro níveis de severidade ASIL da ISO 26262.
- As anotações são derivadas de um processo de consenso de três especialistas.
- O conjunto de dados inclui cenários de telemetria manuais, gerados algoritmicamente e do mundo real.

Resultados Experimentais

Os autores avaliaram o COCKPITHAT no benchmark Who&When (divisões Hand-Crafted e Algorithm-Generated) e em seu próprio COCKPITBENCH.

Desempenho no Who&When:
- Precisão ao Nível do Agente: Alcançou 77,9% (Hand-Crafted) e 86,5% (Algorithm-Generated), superando o SOTA apenas de texto (ECHO) em até 17,6 e 16,7 pontos, respectivamente.
- Precisão de Passo Exato: Alcançou 37,8% (Hand-Crafted) e 46,0% (Algorithm-Generated), superando o ECHO em até 16,7 pontos.
- Tolerância: O modelo mostrou ganhos significativos na localização de passos mesmo com tolerância (ex: +12,3 pontos em $\pm 5$ passos no Hand-Crafted).
Desempenho no COCKPITBENCH:
- Alcançou 78,3% de precisão ao nível do agente e 38,2% de precisão de passo exato.
- Estudos de Ablação:
  - O Fatiamento Hierárquico de Dependência foi o principal contribuinte para os ganhos de precisão ao nível do agente, entregando um salto de +25,2 pontos no COCKPITBENCH.
  - O Adaptador de Canal Incorporado (ECA) foi o fator decisivo para a precisão ao nível do passo no COCKPITBENCH, melhorando a precisão de passo em +6,2 pontos (de 0,320 para 0,382) e a precisão do agente em mais +4,5 pontos. Este componente recuperou passos de início de erro que estágios anteriores baseados apenas em texto tendiam a comprimir.
  - O Consenso com Elevação de Segurança contribuiu para o desempenho geral, com fatias de alta severidade (ASIL-C/D) mostrando maior precisão de passo, consistente com o design do ECA que força violações de segurança para as camadas imediatas.

Significância e Alegações

O artigo alega que a atribuição consciente de dependência, multicanal e calibrada de risco é um paradigma eficaz para o diagnóstico de falhas em sistemas multiagentes de LLM incorporados no mundo real.

Mudança de Paradigma: Move a atribuição da pontuação baseada em resultados para uma localização sistemática de erros que considera mudanças de estado físico e severidade de segurança.
Integração de Segurança: Ao acoplar rótulos ASIL da ISO 6262 com a atribuição, o framework garante que falhas de alto risco não sejam mascaradas por altas taxas de sucesso de nível de tarefa.
Benchmarking: O COCKPITBENCH aborda os limites estruturais de benchmarks anteriores ao fornecer o primeiro conjunto de dados com rótulos de severidade conjunta ISO 26262 e evidência incorporada multicanal.

Os autores posicionam este trabalho como um passo necessário para diagnosticar o "Colapso de Correção" em domínios de missão crítica, observando que, embora o sistema seja projetado para diagnóstico post-hoc, ele estabelece a base para futuras intervenções de segurança em tempo real.