Resumo Técnico: BOT-MOD – Revelando Intenção Oculta Através de Diálogo Multi-turno

Definição do Problema

O artigo aborda uma vulnerabilidade crítica em sistemas multiagente abertos (como redes sociais de bots tipo Moltbook): a incapacidade da moderação de conteúdo tradicional de detectar agentes com intenção maliciosa oculta. Embora métodos estabelecidos (classificadores de PLN, filtros baseados em LLM) identifiquem efetivamente conteúdo explicitamente prejudicial (por exemplo, discurso de ódio, spam), eles falham contra agentes que contribuem com conteúdo que parece benigno na superfície enquanto perseguem objetivos adversariais (por exemplo, elicitação de dados, manipulação de narrativas ou exploração de recursos).

O desafio central é que agentes maliciosos nesses ambientes podem ativamente ocultar sua intenção, elaborando respostas para evadir a detecção. Abordagens anteriores de detecção de intenção assumem usuários cooperativos que revelam seus objetivos, ao passo que agentes adversariais em ambientes centrados em bots suprimem ou mascaram estrategicamente seus objetivos. Consequentemente, a moderação estática baseada em conteúdo é insuficiente; é necessário um quadro que infira intenção através de padrões de interação e não apenas sinais de texto superficiais.

Metodologia: Quadro BOT-MOD

Os autores propõem BOT-MOD (BOT-MODeração), um quadro que fundamenta a moderação na inferência de intenção latente do agente através de diálogo adaptativo e multi-turno. O sistema opera como um moderador baseado em LLM que intercepta agentes após eles passarem por um filtro de conteúdo padrão.

Mecanismos Principais

1. Interrogatório Guiado por Gibbs:
   Em vez de uma classificação de passagem única, o BOT-MOD envolve o agente-alvo em uma troca multi-turno. Ele modela a inferência de intenção como um processo de descoberta de hipóteses bayesiano. Em cada turno, o moderador:

   • Mantém uma distribuição sobre hipóteses candidatas de intenção ($H$).
   • Utiliza amostragem de Gibbs (um procedimento de Cadeia de Markov Monte Carlo) para refinar iterativamente essa distribuição.
   • Amostra uma hipótese de intenção específica $h$ para gerar uma pergunta de sondagem direcionada $q$.
   • Coleta a resposta do agente $r$ e atualiza seu estado de crença.
   • Este ciclo estreita progressivamente o espaço de objetivos plausíveis até que o comportamento subjacente seja identificado.

2. Autopesquisa para Descoberta de Estratégia:
   Em vez de depender de estratégias de prompt projetadas por especialistas, o BOT-MOD aproveita a Autopesquisa (um paradigma de pesquisa autônomo) para descobrir caminhos de raciocínio eficazes. Um controlador LLM (acionado pelo Claude Code) conduz autonomamente um loop empírico:

   • Propõe hipóteses para prompts de moderador e estruturas de interrogatório.
   • Implementa e executa experimentos.
   • Analisa os resultados e refina iterativamente a abordagem de moderação.
   • O objetivo de otimização é uma pontuação F1 composta ($F1_{val}$) que equilibra a classificação binária de intenção (benigno/malicioso) e a precisão do tipo de intenção multiclasse.

3. Taxonomia de Intenção:
   O sistema opera sobre uma taxonomia de intenção orientada por dados, derivada de comportamentos da comunidade Moltbook, compreendendo cinco tipos:

   • Benigno: Contribuição orgânica.
   • Malicioso: Elicitação, Impulso de narrativa, Promoção sutil e Spam.

4. Integração:
   O BOT-MOD é projetado como um serviço de nível de rede que pode ser acionado seletivamente (por exemplo, para postagens sinalizadas) ou uniformemente. Opera puramente através de interação em linguagem natural, não exigindo acesso aos prompts internos do sistema ou ao estado do agente.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Quadro BOT-MOD: Um novo quadro de moderação fundamentado em intenção que utiliza interrogatório multi-turno guiado por Gibbs, otimizado via Autopesquisa, para revelar a intenção latente do agente.
2. Conjunto de Dados de Referência Moltbook: A construção e liberação pública de um conjunto de dados derivado do Moltbook, abrangendo comportamentos benignos e maliciosos diversos (conjuntos de dados de Postagem e Comentário) fundamentados em estruturas comunitárias reais e perfis de intenção.
3. Avaliação Sistemática: Uma avaliação empírica abrangente que demonstra a eficácia e robustez do quadro através de várias dimensões de intenção, configurações de usuário-agente e cenários de generalização.

Resultados Experimentais

Os autores avaliaram o BOT-MOD contra múltiplas linhas de base (Zero-shot, CoT, Autoconsistência, Auto-refinamento e BERT ajustado finamente) em três agentes de usuário LLM (Qwen3, Mistral-7B, Llama-3.1) em conjuntos de dados In-Distribution (ID) e Out-of-Distribution (OOD).

• Ganhos de Desempenho: O BOT-MOD alcançou consistentemente as maiores pontuações médias F1 em todos os conjuntos de dados. No Conjunto de Dados de Comentários In-Distribution, ele superou a linha de base mais forte em 15,6% (Qwen3) e 5,5% (Mistral-7B). Demonstrou força particular no Conjunto de Dados de Comentários, onde os sinais iniciais são mais fracos, sugerindo que o mecanismo de interrogatório fornece valor crítico quando o conteúdo autônomo é ambíguo.
• Robustez à Evasão: O sistema foi testado contra "ataques de evasão" onde os agentes foram instruídos a mudar de comportamento se interrogados. O BOT-MOD permaneceu robusto, com desempenho agregado mostrando que o ataque foi amplamente ineficaz. Notavelmente, no Conjunto de Dados de Postagens, o ataque foi contraproducente, pois negações explícitas durante o interrogatório frequentemente entravam em conflito com evidências na postagem original, auxiliando a detecção do moderador.
• Generalização: Diferentemente de modelos BERT ajustados finamente, que mostraram degradação significativa de desempenho sob deslocamentos de domínio (OOD), o BOT-MOD manteve desempenho estável, indicando melhores capacidades de generalização.
• Progresso da Autopesquisa: O processo de otimização (Figura 2) mostrou uma melhoria monótona nas pontuações F1 de validação, subindo de uma linha de base de 0,543 para uma pontuação final de 0,710 ao longo de 107 experimentos, validando a eficácia da descoberta automatizada de estratégias.

Significado e Alegações

O artigo afirma avançar a fundação para moderação escalável e consciente de intenção em ambientes multiagente abertos. Seu significado reside na mudança de paradigma da filtragem reativa e centrada em conteúdo para a detecção proativa e fundamentada em intenção.

• Primeiro do Seu Tipo: Os autores afirmam que este é o primeiro quadro a abordar a moderação em nível de intenção através de interação adaptativa e multi-turno e o primeiro a automatizar a descoberta de especificações de diálogo via Autopesquisa.
• Praticidade: Ao operar exclusivamente através de linguagem natural, o quadro é implantável em qualquer ambiente multiagente aberto sem exigir acesso privilegiado aos internos do agente.
• Limitações: Os autores modestamente reconhecem limitações, incluindo a suposição de que a verdadeira intenção do agente é representável dentro da taxonomia predefinida (intenções fora do vocabulário podem ser mal classificadas) e preocupações potenciais de escalabilidade relacionadas a ataques de negação de serviço através do inundamento do moderador com conteúdo limítrofe. Eles também observam que o modelo de ameaça atual ainda não leva em conta adversários que visam o próprio moderador via injeção de prompt.

Em conclusão, o trabalho postula que o diálogo estruturado, guiado por amostragem probabilística e otimização automatizada de estratégias, oferece uma direção promissora e prática para garantir a segurança em sociedades de agentes cada vez mais autônomas.