Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

1. Declaração do Problema

O artigo aborda uma lacuna crítica na avaliação de Modelos de Linguagem de Grande Porte (LLMs) durante interações de múltiplas voltas, especificamente no contexto de ideação científica. Embora benchmarks existentes (por exemplo, MT-Bench, AgentBench) avaliem saídas por volta ou sucesso agregado da tarefa, eles falham em medir a aderência a restrições ao longo do tempo.

O problema central é o Desvio de Restrições (Constraint Drift): o fenômeno onde modelos, sob pressão iterativa para refinar ideias (por exemplo, "tornar mais inovador" ou "fortalecer o design"), violam progressivamente as restrições rígidas originais de um briefing de pesquisa. O artigo desafia a suposição predominante de que essa degradação é causada por simples esquecimento ou perda de contexto. Em vez disso, postula que os modelos podem reter conhecimento declarativo completo das restrições enquanto simultaneamente as violam em suas saídas geradas.

2. Metodologia: DRIFTBENCH

Os autores introduzem o DRIFTBENCH, um novo benchmark projetado para quantificar o desvio de restrições e a dissociação entre recordação e aderência.

• Tarefa: Ideação científica. O sistema gera propostas de pesquisa com base em briefings estruturados contendo um objetivo, restrições rígidas (verificáveis binariamente), critérios de sucesso e movimentos proibidos.
• Conjunto de Dados: 38 briefings de pesquisa validados em 24 domínios científicos. Cada briefing inclui 5–8 restrições rígidas e 3–5 movimentos proibidos, validados via JSON Schema e revisão humana.
• Modelos Avaliados: 7 modelos de 5 provedores (incluindo modelos comerciais de ponta como GPT-5.4, Gemini 3.1 Pro, e modelos de pesos abertos como Qwen3-235B e Llama-3.3-70B).
• Condições de Interação:
  1. Única tentativa (SS): Linha de base (1 volta).
  2. Múltiplas voltas Neutras (MT-N): 6 voltas com prompts "Continuar" (controle para contagem de voltas).
  3. Múltiplas voltas com Pressão (MT-P): 6 voltas com prompts de pressão crescente (por exemplo, "Tornar mais inovador", "Adicionar um componente").
  4. Com Pontos de Checagem (CK-P): Igual ao MT-P, mas com reflexão estruturada após as voltas 2 e 4.
• A "Sonda de Reafirmação": Uma inovação metodológica crítica. Em cada volta, uma chamada de API separada (conversa bifurcada) pede ao modelo para reproduzir literalmente as restrições originais. Isso testa a recordação declarativa independentemente da aderência comportamental.
• Pontuação:
  • Métricas: Fidelidade objetiva, aderência a restrições (rubrica 0–4), cobertura de alternativas e inflação de complexidade.
  • Métrica Primária: Taxa de "Sabe-Mas-Viola" (Knows-But-Violates - KBV). Esta mede a proporção de execuções onde o modelo recorda corretamente as restrições (pontuação da sonda $\ge$ 80%) mas as viola na proposta (pontuação de aderência < 4).
  • Julgamento: Julgamento cruzado entre modelos (por exemplo, GPT-5.4 julga execuções da Anthropic) e avaliadores humanos cegos para validar pontuações automatizadas.

3. Principais Contribuições

1. O Benchmark DRIFTBENCH: O primeiro benchmark especificamente medindo o desvio de restrições e a dissociação recordação-aderência na ideação científica de múltiplas voltas, apresentando pontuação objetiva automatizada sem especialistas de domínio.
2. A Descoberta "Sabe-Mas-Viola" (KBV): A descoberta de que os modelos podem reafirmar com precisão restrições que estão violando ativamente. Isso revela uma dissociação fundamental entre memória declarativa e geração comportamental.
3. Inflação de Complexidade: Evidência de que a pressão iterativa causa aumento da complexidade estrutural (mais estágios, dependências, recursos) em todos os modelos, frequentemente à custa da aderência a restrições.
4. Framework de Validação: Um framework de medição robusto incluindo julgamento cego, calibração cruzada entre modelos e validação humana, confirmando que juízes automatizados são conservadores (subdetectando violações) e que as descobertas são robustas a variações de temperatura e tipo de pressão.

4. Principais Resultados

• Altas Taxas KBV: Há uma enorme variação nas taxas KBV entre modelos sob pressão, variando de 8% (GPT-5.4) a 99% (Sonnet 4.6). Cinco dos sete modelos excederam uma taxa KBV de 50%.
• Dissociação Confirmada: Modelos como Sonnet 4.6 e Llama-3.3-70B alcançaram recordação quase perfeita de restrições na sonda, mas violaram-nas em 93–99% de suas propostas. Isso refuta a hipótese de "simples esquecimento".
• Complexidade vs. Aderência: Todos os modelos exibiram inflação de complexidade (elaboração estrutural) sob pressão. Maior complexidade correlacionou-se com menor fidelidade. Este efeito foi estrutural, não meramente verbal (verbosidade).
• Ineficácia de Intervenções:
  • Pontos de Checagem: Reflexão estruturada reduziu ligeiramente as taxas KBV (por exemplo, Qwen caiu de 55% para 36%), mas não eliminou a dissociação. A inflação de complexidade persistiu.
  • Monitoramento Automatizado: Um modelo leve verificando restrições após cada volta falhou em fechar a lacuna; as taxas KBV permaneceram altas (por exemplo, Sonnet em 97%).
• Lacuna de Fidelidade de Superfície: Alguns modelos (por exemplo, Llama-3.3-70B) mantiveram alta "fidelidade de superfície" (soando focados na tarefa) enquanto falhavam nas restrições, criando um alinhamento enganoso.
• Robustez: As descobertas mantiveram-se em diferentes temperaturas (0,7 vs 1,0) e tipos de pressão (inovatividade vs. rigor).

5. Significado e Implicações

• Mudança de Paradigma de Avaliação: Benchmarks atuais focados na qualidade da saída final ou testes de reafirmação são insuficientes. Avaliações futuras devem medir a aderência a restrições ao nível da trajetória e testar explicitamente a dissociação recordação-aderência.
• Design de Modelos: A ampla variação nas taxas KBV (8% a 99%) sob prompts idênticos sugere que a preservação de restrições é uma capacidade treinável. Compreender por que alguns modelos (como GPT-5.4) resistem ao desvio enquanto outros (como Sonnet 4.6) sucumbem é uma questão de pesquisa aberta crítica.
• Segurança e Confiabilidade: Em domínios de alto risco (pesquisa científica, jurídica, médica), um modelo que "soa" alinhado mas viola restrições rígidas é perigoso. O artigo sugere que combinar verificações de reafirmação com verificação de propostas é uma salvaguarda necessária, pois a reafirmação sozinha é um falso positivo para aderência.
• Insight Teórico: Os resultados desafiam teorias existentes de desvio de contexto (por exemplo, equilíbrio de divergência KL ao nível de token). O artigo sugere que diferentes aspectos do comportamento de múltiplas voltas (complexidade vs. alinhamento) seguem regimes dinâmicos diferentes, e que o "desvio" não é meramente uma perda de informação, mas uma falha em arbitragem de instruções ou priorização de restrições.

Em conclusão, o artigo demonstra que LLMs em configurações de múltiplas voltas frequentemente sofrem de uma síndrome de "sabe-mas-viola", onde retêm a memória das restrições, mas falham em executá-las sob pressão iterativa, um fenômeno que as estratégias atuais de mitigação (pontos de checagem, monitoramento) não conseguem resolver totalmente.