Resumo Técnico: Interpretando e Controlando o Comportamento de Modelos via Constituições para Edições de Conceitos Atômicos

1. Declaração do Problema

O rápido avanço dos grandes modelos generativos introduziu desafios significativos em relação à segurança, confiabilidade e interpretabilidade. Um obstáculo primário é a atribuição do mau comportamento do modelo; nas arquiteturas modernas, torna-se cada vez mais difícil rastrear falhas até características específicas de entrada. Embora o aprendizado de máquina adversarial tenha demonstrado que mudanças sutis na entrada podem desencadear falhas graves, a análise dessas vulnerabilidades permanece uma lacuna de pesquisa, particularmente em Grandes Modelos de Linguagem (LLMs) multimodais, onde a interpretabilidade das perturbações de prompts é limitada.

Abordagens existentes frequentemente dependem de métodos de interpretabilidade global ou ataques adversariais que não são interpretáveis (ex: perturbações de pixels). Há uma necessidade de um framework que possa decodificar sistematicamente o comportamento de modelos de "caixa-preta" estabelecendo um vínculo causal entre edições de conceitos atômicos interpretáveis em prompts e mudanças nos resultados do modelo. O objetivo é aprender uma "constituição" em linguagem natural — um resumo de como mutações específicas de prompts afetam o comportamento do modelo — para tanto explicar quanto direcionar esses modelos.

2. Metodologia

Os autores propõem um framework de interpretabilidade de caixa-preta centrado em Edições de Conceitos Atômicos (ACEs) e Constituições.

2.1. Definições Principais

• Edições de Conceitos Atômicos (ACEs): Operações direcionadas que adicionam, removem ou substituem um único conceito interpretável em um prompt de entrada. Os conceitos podem ser explícitos (ex: "homem", "frisbee") ou implícitos (ex: "hora do dia", "idade do filho").
• Autorater (Auto-avaliador): Um classificador binário (ou função de pontuação) que mapeia a saída de um modelo para uma pontuação de desejabilidade (0 ou 1) baseada em uma tarefa específica (ex: alinhamento texto-imagem, correção matemática, adesão à contagem de palavras).
• Constituição ($\pi$): Uma descrição em linguagem natural de estratégias para gerar ACEs que modificam uma entrada para provocar o comportamento desejável (ou específico) do modelo. Ela atua como um livro de regras contendo "Boas Estratégias" e "Más Estratégias" para mutações.

2.2. Arquitetura do Framework

O framework opera em três estágios principais:

1. Geração de ACE: Dado um prompt inicial, uma definição de tarefa e uma constituição (inicialmente vazia ou aleatória), um Extrator de Conceitos destila o prompt em um conjunto de conceitos. Um Gerador de ACE então propõe edições atômicas (adicionar, remover, substituir) para esses conceitos.
2. Exploração e Rotulagem: As ACEs propostas são aplicadas aos prompts, e os resultados resultantes são avaliados pelo modelo alvo e pelo autorater. Isso cria um conjunto de dados de traços de ACE ($D = \{(x_i, a_j, y_j)\}$) onde $y_j$ é a pontuação de verdade fundamental do autorater.
3. Otimização da Constituição: Para evitar o alto custo computacional de consultar repetidamente grandes modelos alvo, os autores empregam um Classificador Substituto (um LLM com um template de instrução) para prever pontuações do autorater. Usando um algoritmo evolucionário (inspirado em Alpha Evolve e TextGrad), o framework atualiza iterativamente a constituição. A constituição é otimizada para maximizar a probabilidade de que as ACEs guiadas por ela satisfaçam a definição da tarefa.

2.3. Objetivo de Otimização

O objetivo é aprender uma constituição $\pi$ que maximize o sucesso esperado das ACEs:
$$\max_{\pi} \mathbb{E}_{x} \left[ \mathbb{E}_{a \sim p(a|x,t,\pi)} [f(M(\phi(x, a)))] \right]$$
onde $M$ é o modelo alvo, $f$ é o autorater, e $\phi$ aplica a ACE $a$ à entrada $x$. A otimização utiliza o feedback de classificações incorretas pelo classificador substituto para evoluir as estratégias dentro da constituição.

2.4. Inferência e Controle

Uma vez otimizada, a constituição guia o gerador de ACE para direcionar prompts de entrada em direção a um objetivo específico (ex: quebrar a correção matemática ou diminuir o alinhamento de imagem) com o mínimo de etapas. O framework permite a aplicação sequencial de ACEs, onde uma sequência de edições aumenta a probabilidade de sucesso.

3. Principais Contribuições

1. Edições de Conceitos Atômicos (ACEs): Um método genérico de mutação de prompt usando edições locais explicáveis (adicionar, remover, substituir) em conceitos específicos.
2. Otimização de Constituição: Uma metodologia evolucionária para otimizar uma constituição em linguagem natural que tanto explica quanto direciona o comportamento do modelo. A constituição resume aspectos fundamentais de mutações que causam resultados desejados e guia futuras ACEs.
3. Validação Empírica: Avaliação abrangente em três domínios (Adesão à Contagem de Palavras, Raciocínio Matemático e Alinhamento Texto-Imagem) utilizando diversos modelos (Gemini 2.5, GPT-5, Imagen 4, DALL-E 3, etc.).

4. Resultados Experimentais

Os autores avaliaram o framework em três tarefas subsequentes:

• Contagem de Palavras: Forçar os modelos a aderir a um limite estrito de palavras (< 50 palavras).
• Matemática: Modificar problemas matemáticos para torná-los difíceis de resolver corretamente (induzindo erros).
• Alinhamento Texto-Imagem (T2I): Atualizar prompts para diminuir o alinhamento com a imagem gerada.

Achados Quantitativos

• Taxa de Sucesso: O uso de ACEs guiadas por constituição (CACE) alcançou um aumento médio de 1,86 vezes na taxa de sucesso em comparação com as ACEs de linha de base sem constituições em todos os modelos e tarefas.
• Eficiência: CACE alcançou altas taxas de sucesso (> 80%) em menos etapas (tipicamente 4 etapas) em comparação com os métodos de linha de base.
• Diversidade: Pontuações Self-BLEU indicaram que o framework manteve a diversidade de prompts e não convergiu para soluções triviais e repetitivas.
• Precisão do Substituto: O classificador substituto superou o TextGrad (um método de gradiente textual de estado da arte) na previsão de se uma ACE satisfaria a tarefa.

Insights Qualitativos (Análise de Comportamento do Modelo)

As constituições aprendidas revelaram padrões comportamentais distintos entre os modelos:

• Texto-para-Imagem:
  • GPT-Image: O alinhamento degradou significativamente quando elementos relacionais críticos e focados em ação foram removidos (ex: remover o objeto de um verbo), sugerindo uma dependência de lógica composicional estrita.
  • Imagen 4: O alinhamento diminuiu quando elementos de cenário não relacionados ou conflitantes foram adicionados, indicando uma priorização de contexto de cena holístico e coerência estética.
• Raciocínio Matemático:
  • GPT-5: O desempenho foi significativamente degradado pela introdução de variáveis distratoras ou substituições cruzadas de equações.
  • Gemini 2.5 / o4-mini: Estes modelos foram amplamente inafetados por variáveis distratoras, mostrando robustez onde o GPT-5 falhou.
  • Geral: A introdução de expoentes ou raízes aumentou consistentemente a dificuldade em todos os modelos, expondo limitações em raciocínio algébrico complexo.

5. Significância e Alegações

O artigo afirma fornecer um novo framework para entender e direcionar modelos generativos de caixa-preta, vinculando modificações de prompt em nível de conceito a mudanças comportamentais. A principal significância reside na capacidade de gerar constituições interpretáveis por humanos que atuam como livros de regras para direcionamento adversarial e testes ativos.

Os autores enfatizam que sua abordagem:

• Decodifica o comportamento do modelo sem exigir acesso aos pesos internos (caixa-preta).
• Fornece insights acionáveis e generalizáveis (ex: "Remover um Elemento Relacional Crítico") em vez de pontos de dados específicos.
• Demonstra que diferentes modelos possuem "pontos cegos" ou modos de falha distintos que podem ser sistematicamente identificados e explorados.

Este trabalho posiciona-se como uma fundação para direcionar o comportamento do modelo para qualquer objetivo definido por um autorater, oferecendo uma alternativa estruturada à engenharia de prompt não estruturada ou ataques adversariais não interpretáveis. Os autores observam limitações quanto à dependência de autoraters robustos e o potencial de trabalhos futuros para estender esses conceitos para modalidades de imagem/vídeo e sistemas agentes.