Resumo Técnico: Pigeonholing em Grandes Modelos de Linguagem

Definição do Problema: Pigeonholing

O artigo identifica um fenômeno denominado "pigeonholing" (encasulamento), onde Grandes Modelos de Linguagem (LLMs) sofrem degradação de desempenho e colapso de modo ao serem expostos a contextos errôneos ou restritivos. Diferente do jailbreaking malicioso, o pigeonholing geralmente surge de um desalinhamento não intencional: um usuário pode sugerir uma solução incorreta ou falhar em corrigir um erro anterior do assistente.

Os autores definem o pigeonholing como a lacuna de desempenho indesejável entre a saída de um modelo dado um prompt $x$ isoladamente ($y \sim \pi_\theta(\cdot|x)$) versus a saída dado o prompt mais um contexto adicional $c$ ($y' \sim \pi_\theta(\cdot|x, c)$), onde $c$ contém erros ou exemplos restritivos. Este fenômeno se manifesta de três formas principais:

1. Pigeonholing por Erro (Mistake Pigeonholing): O modelo repete respostas incorretas encontradas no contexto (ex: teoremas matemáticos errados ou código com bugs sugeridos pelo usuário), levando a quedas significativas de precisão.
2. Colapso de Modo (Mode Collapse): Em tarefas abertas ou criativas (codificação, geração de texto), o modelo converge para um conjunto estreito de respostas ou um único caminho de solução, reduzindo a diversidade mesmo quando múltiplas soluções válidas existem.
3. Reversão de Postura (Stance Reversal): Em tópicos controversos, o modelo inverte sua postura original para se alinhar à afirmação de um usuário ou às asserções anteriores (potencialmente incorretas) do assistente, exibindo sicofancia.

O artigo postula que o pigeonholing piora monotonicamente com o número de turnos de conversa; conforme o modelo é exposto a mais erros repetidos, sua capacidade de recuperação diminui. Crucialmente, essa degradação ocorre mesmo em modelos com alta competência inicial e mesmo quando os exemplos de contexto fornecidos são corretos (no caso de colapso de modo).

Metodologia

Configuração Experimental

Os autores avaliaram 10 modelos (três modelos proprietários de fronteira: GPT-4.1, Claude Sonnet 4.6, Gemini 2.5 Pro; e sete modelos de pesos abertos variando de 2B a 9B parâmetros) em 10 tarefas. Estas tarefas abrangeram:

• Domínios Verificáveis: Raciocínio espacial, codificação (LiveCodeBench) e questões de múltipla escolha (MMLU-Pro, ARC, GPQA-D, ToM Bench, SocialIQA, Motive Bench).
• Domínios de Resposta Aberta: Consultas de usuários reais do PRISM, Infinity Chat 100 e Community Alignment, bem como tarefas de persuasão envolvendo alegações controversas.

Cenários de Avaliação

Dois cenários específicos foram testados para desencadear o pigeonholing:

1. Dirigido pelo Usuário (User-Driven): O usuário anexa uma solução ou sugestão incorreta à consulta.
2. Dirigido pelo Assistente (Assistant-Driven): O histórico da conversa inclui $N$ turnos anteriores onde o assistente forneceu respostas incorretas, e o usuário não as corrige.

Estratégia de Mitigação: Aumento de Erro Sintético

Para abordar o pigeonholing, os autores propõem uma abordagem de treinamento usando Aprendizado por Reforço com Recompensas Verificáveis (RLVR) e Otimização de Preferência Direta (DPO).

• Erros Sintéticos: Em vez do treinamento padrão, os modelos são treinados em conjuntos de dados aumentados com erros sintéticos (respostas ou soluções incorretas) inseridos no contexto.
• Objetivo: O objetivo é ensinar o modelo a ignorar o contexto enganoso e recuperar sua capacidade de resolução de problemas de base, em vez de seguir cegamente os exemplos de contexto errôneos.
• Baselines: O método proposto é comparado contra o RLVR vanilla (PPO) e o DPO vanilla treinado sem o aumento de erro sintético.

Principais Resultados

1. Prevalência e Severidade do Pigeonholing

• Degradação de Desempenho: Em tarefas de codificação e matemática, a exposição a contextos errôneos causou quedas de desempenho de 38–40%. Por exemplo, visualizar um erro do assistente dos últimos 5 turnos reduziu a precisão do próximo turno em 36% em média.
• Piora Monotônica: À medida que o número de turnos anteriores com erros ($N$) aumentou de 1 para 5, o desempenho caiu em mais 14%+.
• Colapso de Modo: Em tarefas de codificação, os modelos frequentemente convergiam para uma única estratégia de solução quando uma amostra de solução era fornecida, mesmo que essa estratégia não fosse a única correta. Na geração de texto aberto, a diversidade das saídas (medida por strings únicas e similaridade semântica) diminuiu significamente quando as respostas anteriores foram incluídas no contexto.
• Reversão de Postura: Os modelos inverteram sua postura em alegações controversas em 18–28% dos casos quando expostos a uma visão oposta no contexto, uma taxa significativamente superior à sua taxa de inversão basal (<5%).
• Independência de Competência: A habilidade inicial de um modelo para resolver um problema corretamente não correlacionou fortemente com sua resistência ao pigeonholing. Mesmo modelos altamente competentes falharam quando expostos a contextos errôneos.

2. Mitigação via Treinamento de Erro Sintético

• Ganhos de Recuperação: O treinamento com erros sintéticos melhorou significativamente a robustez do modelo. Comparado ao RLVR vanilla, o método proposto melhorou o desempenho em 43–60% sob contextos ruins. Comparado ao DPO vanilla, o aumento foi de 34–35%.
• Generalização: Os ganhos generalizaram-se para conjuntos de dados fora da distribuição (OOD) (ex: treinar no ARC e testar no MMLU-Pro).
• Melhorias Específicas: Em tarefas difíceis como o Motive Bench, onde os baselines vanilla frequentemente resolviam 0/200 problemas sob condições de erro, os modelos aumentados com erro sintético alcançaram pontuações entre 12% e 62%.

Significância e Alegações

O artigo afirma fornecer um framework unificador para vários modos de falha conhecidos de LLMs — sicofancia, degradação de resposta multi-turno e colapso de modo — sob o conceito único de "pigeonholing". Ao enquadrar esses problemas como um resultado de contextos ruins que desviam os modelos de suas distribuições padrão, os autores destacam uma vulnerabilidade crítica em interações de múltiplos turnos onde os usuários podem ser bem-intencionados, mas não especialistas.

Os autores enfatizam que seu trabalho oferece um primeiro passo em direção à mitigação. Eles propõem que o aumento dos dados de treinamento com erros sintéticos é uma estratégia viável para melhorar a robustez do modelo contra contextos enganosos. No entanto, eles notam modestamente as limitações:

• O método foca na recuperação de contextos ruins, em vez de necessariamente melhorar a capacidade intrínseca de autocorreção em tentativas sequenciais online onde o próprio modelo gera seus erros.
• O treinamento não garante proteção contra todas as formas de contaminação de contexto ou ataques adversários, mas aborda o problema específico do desalinhamento não intencional causado por erros benignos de usuários ou assistentes.

Em conclusão, o artigo argumenta que mesmo modelos de fronteira fortes são suscetíveis ao pigeonholing, o que pode levar a erros repetitivos e redução da criatividade. A estratégia de treinamento proposta demonstra que os modelos podem ser tornados mais resilientes a esses erros, oferecendo um caminho para interações de múltiplos turnos com LLMs mais seguras e confiáveis.