UNBOX: Unveiling Black-box visual models with Natural-language

Título: UNBOX: Revelando Modelos Visuais de Caixa-Preta com Linguagem Natural

1. O Problema

O aumento do uso de modelos de visão computacional proprietários, disponibilizados exclusivamente como APIs de inferência (caixas-pretas), criou um desafio crítico para a confiança na IA. Nesses cenários, os usuários têm acesso apenas às probabilidades de saída (scores de classe), sem visibilidade sobre a arquitetura, pesos, gradientes, dados de treinamento ou dados internos do modelo.

• Limitações Atuais: Os métodos existentes de explicação (XAI) geralmente assumem acesso de "caixa-branca" (pesos/gradients) ou "caixa-cinza" (alguns dados internos), ou dependem de conhecimento prévio da distribuição de treinamento.
• A Lacuna: Não existem métodos eficazes para realizar uma dissecação global de modelos (entender conceitos de classe inteiros) e detectar vieses ou falhas sistemáticas quando o modelo é uma caixa-preta estrita, sem acesso a dados de treinamento ou gradientes.

2. Metodologia: O Framework UNBOX

O UNBOX é um framework inovador para dissecação de modelos por classe que opera sob restrições estritas: livre de dados, livre de gradientes e livre de retropropagação.

Conceito Central:
O método reformula o problema de maximização de ativação (geralmente feito via gradiente em espaço de características) como um problema de busca semântica em espaço textual, guiado apenas pelas probabilidades de saída do classificador.

Componentes Principais:

1. Otimização Semântica em Espaço de Texto:

   • Em vez de ajustar pixels ou pesos, o UNBOX otimiza um prompt de linguagem natural ($p_t$).
   • O prompt é convertido em uma imagem sintética usando um modelo de difusão text-to-image (ex: FLUX.1).
   • A imagem é avaliada pelo classificador de caixa-preta, retornando um score de confiança ($s_t$) para a classe alvo.

2. Mecanismo de Feedback e Atualização (Agentes LLM):

   • O sistema utiliza dois agentes de Grandes Modelos de Linguagem (LLM) cooperativos:
     • Agente de Feedback ($A_f$): Analisa a evolução temporal do score e gera um feedback estruturado em linguagem natural sobre como o prompt deve ser alterado.
     • Agente Atualizador ($A_u$): Aplica o feedback para refinar o prompt, gerando a próxima iteração ($p_{t+1}$).
   • Sinal Semântico: O feedback é baseado em duas métricas derivadas do score:
     • Tendência (Trend): Indica se o prompt está melhorando ou piorando (direção).
     • Intensidade (Intensity): Indica quão longe o prompt está de saturar a ativação (magnitude da mudança).

3. Contexto de Otimização Global e Local:

   • Para evitar oscilações e convergência para descrições transitórias, o UNBOX mantém dois contextos:
     • Contexto Global: Armazena os prompts de maior pontuação e suas unidades léxicas atômicas (palavras-chave) que consistentemente geram alta ativação. Isso preserva o espectro semântico completo da classe.
     • Contexto Local: Mantém um histórico recente de interações prompt-feedback para garantir estabilidade na trajetória de otimização.

3. Contribuições Principais

• Primeiro Framework de Dissecação Global Livre de Dados: O UNBOX consegue reconstruir conceitos semânticos de nível de classe usando apenas probabilidades de saída, sem precisar de pesos, gradientes ou dados de treinamento.
• Mecanismo de Otimização Textual Principiada: Introduz um ciclo de refinamento iterativo guiado por LLMs e sinais de tendência/intensidade, substituindo a otimização baseada em gradiente.
• Validação em Tarefas Críticas: Demonstra que é possível realizar auditoria de viés (slice discovery) e debiasing (redução de viés) sem acesso aos dados de treinamento, algo considerado impossível anteriormente.
• Desempenho Competitivo: Mostra que a interpretação de caixa-preta pode rivalizar com métodos de caixa-branca de última geração.

4. Resultados Experimentais

O UNBOX foi avaliado em três dimensões principais utilizando os conjuntos de dados ImageNet-1K, Waterbirds e CelebA, comparado contra métodos de caixa-branca (CLIPDissect, WWW) e caixa-cinza (DEXTER).

• Fidelidade Semântica (Class Semantic Fidelity):

  • O UNBOX recuperou descritores textuais que correspondem fortemente aos rótulos verdadeiros das classes.
  • No ImageNet-1K, o UNBOX superou o método WWW e foi competitivo com o CLIPDissect em ResNet50, e superou significativamente todos os concorrentes em modelos ViT (Vision Transformers), onde métodos baseados em ativação interna falham.
  • Resultado Chave: 0.64 de similaridade semântica em ResNet50 e 0.49 em ViT (vs. 0.27 do CLIPDissect em ViT).

• Recuperação de Semântica de Treinamento Latente:

  • Os descritores recuperados refletiram com precisão a distribuição de dados em que o modelo foi treinado (incluindo características contextuais e, às vezes, vieses espúrios).
  • O UNBOX demonstrou alta "ancoragem visual" (visual grounding), alinhando-se bem com as imagens de validação, mesmo sem ter visto essas imagens durante a geração dos descritores.

• Descoberta de Vieses e Slice Discovery:

  • O método conseguiu identificar correlações espúrias (ex: "pássaros na água" vs. "pássaros em terra" no dataset Waterbirds).
  • Ao usar os descritores descobertos para criar pseudo-rótulos e aplicar otimização robusta (DRO), o UNBOX alcançou acurácias de pior grupo (worst-group accuracy) de 88.6% em Waterbirds e 90.01% em CelebA.
  • Comparação: Esses resultados são competitivos com métodos que exigem acesso total aos dados e pesos internos, e em alguns casos, aproximam-se do desempenho de oráculos.

• Ablação:

  • Estudos mostraram que a remoção do Contexto Global ou do estado de Intensidade degrada severamente o desempenho, provando que a estabilidade da busca semântica depende desses componentes.

5. Significado e Conclusão

O trabalho UNBOX representa um avanço fundamental na interpretabilidade de IA, provando que a "caixa-preta" não precisa ser impenetrável.

• Auditoria sem Dados: Permite que reguladores e pesquisadores auditem modelos proprietários (como APIs da OpenAI, Google, etc.) para detectar viés, falhas de robustez e lógica de decisão, sem precisar que as empresas divulguem seus dados ou modelos.
• Generalização Arquitetural: O método funciona igualmente bem em CNNs (ResNet) e Transformers (ViT), mostrando que a otimização puramente baseada em saída é agnóstica à arquitetura interna.
• Transparência: Oferece uma lente semântica para entender o que os modelos realmente "aprenderam" (incluindo vieses indesejados), permitindo a criação de sistemas de reconhecimento visual mais confiáveis e justos, mesmo em ambientes de produção fechados.

Em resumo, o UNBOX transforma a otimização de ativação em um problema de diálogo com o modelo, onde a linguagem natural é a única ferramenta necessária para desvendar a lógica interna de sistemas visuais complexos.