Can We Trust a Black-box LLM? LLM Untrustworthy Boundary Detection via Bias-Diffusion and Multi-Agent Reinforcement Learning

Título: Podemos Confiar em um LLM de Caixa-Preta? Detecção de Limites de Não Confiabilidade via Difusão de Viés e Aprendizado por Reforço Multi-Agente

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades impressionantes, mas frequentemente geram respostas enviesadas, ideologizadas ou incorretas. O desafio central identificado pelos autores é a dificuldade de determinar os limites de não confiabilidade (ou seja, quais tópicos um modelo específico pode responder de forma tendenciosa) quando se tem acesso apenas a uma caixa-preta (sem acesso aos pesos internos ou estrutura do modelo).

Testar exaustivamente todos os tópicos possíveis é inviável devido ao custo computacional e de consultas (queries). Métodos existentes geralmente dependem de conjuntos de dados pré-definidos e estáticos, o que não escala bem para a vasta gama de tópicos cobertos por LLMs modernos. É necessário uma abordagem eficiente e escalável para mapear esses limites de confiança sem re-treinar o modelo alvo.

2. Metodologia: GMRL-BD

Os autores propõem um novo algoritmo chamado GMRL-BD (Graph Multi-Agent Reinforcement Learning for LLM-untrustworthy Boundary Detection). A abordagem baseia-se em duas hipóteses principais:

1. Difusão de Viés: Se um LLM produz respostas enviesadas em um tópico, é provável que também o faça em tópicos vizinhos ou topologicamente relacionados no grafo de conhecimento.
2. Eficiência Multi-Agente: Múltiplos agentes colaborativos podem explorar o espaço de tópicos mais rapidamente do que um único agente, compartilhando informações para reduzir o custo de consultas.

Componentes Principais:

• Base de Conhecimento (Knowledge Graph - KG):

  • Utiliza a árvore de categorias do Wikipedia como um Grafo de Conhecimento ($G = \{V, E\}$).
  • Os nós representam tópicos e as arestas representam relações hierárquicas e topológicas.
  • Esta estrutura permite estimar a difusão de viés através de tópicos conectados.

• Aprendizado por Reforço (RL) em Grafos:

  • O problema é modelado como um processo de exploração onde agentes navegam pelo KG.
  • Estado ($s_t$): Representado por embeddings de nós (tópicos) testados e seus vizinhos. Os embeddings são gerados resumindo as respostas do LLM para aquele tópico e agregando informações topológicas via mecanismos de atenção.
  • Ação ($a_t$): Escolher um nó vizinho para testar a próxima consulta.
  • Função de Recompensa: Projetada para maximizar a descoberta de nós enviesados (viés) enquanto minimiza o número de consultas (custo). Inclui um termo de "distância" para incentivar o agente a seguir o caminho mais curto até um tópico enviesado conhecido.

• Inferência Multi-Agente (Planejamento Colaborativo):

  • Durante a fase de inferência, múltiplos agentes são iniciados em diferentes nós do grafo.
  • Eles utilizam um módulo chamado AgentLinkHub para coordenar movimentos, evitando sobreposição de testes e conflitos.
  • Os agentes compartilham informações de recompensa e ajustam dinamicamente seus caminhos de exploração para cobrir o máximo de tópicos enviesados com o mínimo de consultas.

3. Contribuições Chave

O artigo apresenta quatro contribuições principais:

1. Formulação do Problema: Define formalmente a detecção de "limites de não confiabilidade" em LLMs de caixa-preta como um problema de otimização de exploração em grafos.
2. Estrutura de Grafo Compacta: Utiliza uma KG derivada da árvore de categorias do Wikipedia, que é menor e mais hierárquica que KGs tradicionais, facilitando a estimativa eficiente da difusão de viés.
3. Algoritmo GMRL-BD: Um modelo agnóstico (funciona em qualquer LLM) que combina RL multi-agente com difusão de viés para detectar tópicos tendenciosos com poucas consultas, superando métodos estáticos.
4. Novo Dataset (LBID): Lançamento do LLM Bias Identification Dataset (LBID), contendo:
   • 6 modelos populares (Llama2, Vicuna, Falcon, Qwen2, Gemma2, Yi-1.5).
   • 22.608 tópicos com injeção de viés intencional (cobrindo áreas como política, imigração, economia, etc.).
   • 113.040 pares de perguntas e respostas (QA) rotulados.
   • Estrutura do grafo do Wikipedia com 871.854 nós.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando o dataset LBID em tarefas de seis domínios (Imigração, Política, Educação, Economia, IA e Cultura).

• Validação da Hipótese de Difusão: Confirmou-se que o viés se transmite para nós vizinhos no grafo. Quando um tópico é "infectado" com viés, os tópicos adjacentes também tendem a gerar respostas tendenciosas.
• Eficiência de Consulta: O framework GMRL-BD conseguiu detectar os limites de não confiabilidade com apenas 10 a 30 interações (consultas) por tarefa, demonstrando uma convergência extremamente rápida em comparação com métodos de busca exaustiva.
• Desempenho por Modelo:
  • Llama-2 e Falcon apresentaram o melhor desempenho na identificação de nós enviesados (Taxa de Cobertura de Nós de Viés - BNCR), especialmente nos domínios de Imigração e Economia.
  • O modelo alcançou taxas de recall (BNCR) superiores a 90% em tarefas de Imigração para Llama-2 e Falcon.
• Estudo de Ablação: A remoção das camadas SAGE (agregação de vizinhos) ou Attention resultou em queda significativa no desempenho, provando que a combinação de informações topológicas e semânticas é crucial. O método superou significativamente baselines como Busca em Profundidade (DFS) e exploração uniforme.
• Impacto Multi-Agente: O aumento do número de agentes reduziu drasticamente a "perda de passos" (step loss) e aumentou a taxa de sucesso, confirmando que a colaboração entre agentes acelera a detecção.

5. Significado e Conclusão

Este trabalho oferece uma solução prática e escalável para um dos maiores desafios na adoção de IA: a confiabilidade. Ao permitir que usuários e reguladores mapeiem rapidamente onde um LLM pode falhar ou ser tendencioso, sem precisar acessar o código fonte do modelo, o GMRL-BD estabelece um novo padrão para sistemas de IA centrados na confiança.

A pesquisa sugere que a confiança em LLMs não deve ser binária (confiável/não confiável), mas sim contextual, baseada em limites definidos por tópicos. O dataset LBID lançado serve como um marco fundamental para pesquisas futuras em detecção de viés, permitindo a avaliação padronizada de novos modelos e métodos de mitigação.

Limitações e Futuro: O modelo atual foca na detecção baseada em tópicos. Trabalhos futuros visam expandir para a detecção baseada em consultas específicas, tratando cada pergunta como uma distribuição multinomial sobre tópicos.