Resumo Técnico: Modelos de Linguagem de Grande Escala Planejam Posições de Resposta?

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) e Modelos Visuais-Linguísticos (VLMs) são cada vez mais utilizados para gerar Questões de Múltipla Escolha (QMCs) para avaliação educacional, compreensão de leitura e resposta a perguntas visuais. Idealmente, as respostas corretas nas QMCs geradas deveriam estar uniformemente distribuídas entre as opções (A, B, C, D) para garantir uma avaliação imparcial. No entanto, observações empíricas indicam que esses modelos exibem vieses de posição sistemáticos, favorecendo desproporcionalmente posições específicas de resposta (por exemplo, um "viés de primazia" em direção à opção A ou um "viés central" em direção a B/C).

Embora pesquisas anteriores tenham estabelecido que os LLMs sofrem de viés de seleção durante a fase de inferência (favorecendo identificadores de opção específicos ao responder), permanece incerto se vieses semelhantes surgem durante o próprio processo de geração. Especificamente, é desconhecido se os LLMs exibem preferências posicionais consistentes ao construir QMCs e se essas preferências são impulsionadas por representações internas que implicitamente "planejam" a posição da resposta antes de gerar as opções.

Metodologia

Os autores propõem um framework consistindo em três componentes para investigar o viés de posição, seus mecanismos subjacentes e a potencial controlabilidade:

1. Tarefas de Geração de QMC Controladas:
   O estudo avalia 10 LLMs e 5 VLMs em três cenários distintos de geração:

   • QMC Baseada em Conhecimento (K-MCQ): Geração de perguntas em cinco disciplinas (Matemática, Química, História, Geografia, Biologia).
   • QMC de Compreensão de Leitura (RC-MCQ): Geração de perguntas com base em artigos de notícias.
   • QMC Visão-Linguagem (VL-MCQ): Geração de perguntas com base em imagens abstratas derivadas de descrições do conjunto de dados COCO.
     Os autores padronizam o formato de saída (opções A–D) e especificam explicitamente a resposta correta para garantir que os vieses observados decorram do modelo e não de artefatos da tarefa.

2. Sondagem para Planejamento Implícito:
   Para determinar se as posições de resposta são codificadas durante a geração, os autores treinam classificadores leves (sondas MLP) em representações ocultas ao nível de token do enunciado da pergunta. O objetivo é prever a posição correta final da resposta ($y \in \{1, \dots, K\}$) a partir dos estados ocultos do enunciado ($H^{(l)}_x$) antes que as opções sejam geradas. Isso testa a hipótese de que o modelo realiza um planejamento implícito para frente.

3. Direcionamento de Ativação (Intervenção):
   Para estabelecer uma ligação causal entre representações internas e a posição da resposta, os autores aplicam direcionamento de ativação no momento da decodificação. Eles constroem vetores de direcionamento usando dois métodos:

   • Diferença de Média: Calculando a diferença vetorial entre os estados ocultos médios associados a uma posição de origem (por exemplo, A) e uma posição de destino (por exemplo, B).
   • Baseado em Classificador: Utilizando o vetor de pesos de um classificador de regressão logística treinado para distinguir entre posições de origem e destino.
     Esses vetores são adicionados aos estados ocultos em camadas específicas e posições de token (por exemplo, o penúltimo token do enunciado) para manipular a trajetória de geração.

Principais Resultados

1. Viés de Posição Sistemático

Em todas as três tarefas e diversas famílias de modelos (incluindo Llama, Qwen, DeepSeek e Gemini), os modelos exibem vieses de posição estruturados.

• Padrões Específicos do Modelo: Os modelos Llama favorecem consistentemente a opção "A" (viés de primazia), enquanto variantes do Qwen e do DeepSeek frequentemente preferem "B", e os modelos Gemini mostram uma tendência em direção a "B" e "C".
• Sub-representação: A opção "D" é sistematicamente sub-representada em quase todos os modelos.
• Influência dos Identificadores: Remover identificadores de opção explícitos (A/B/C/D) não elimina o viés; em vez disso, frequentemente exacerba a preferência pela primeira posição, sugerindo que, embora os identificadores forneçam pistas, o viés também é impulsionado por preferências intrínsecas de ordenação.

2. Evidência de Planejamento Implícito

Experimentos de sondagem revelam que as representações ocultas no enunciado da pergunta codificam sinais preditivos da posição correta da resposta.

• Previsibilidade: Classificadores treinados em representações do enunciado alcançam pontuações macro-F1 significativamente acima de baselines aleatórias e de maioria, indicando que a informação da posição da resposta é codificada cedo no processo de geração.
• Emergência por Camada: Sinais preditivos estão distribuídos por muitas camadas, em vez de confinados às camadas finais. Em alguns modelos (por exemplo, Qwen3-30B-Thinking), sinais fortes emergem em camadas intermediárias (24–36).
• Posição do Token: O desempenho preditivo é geralmente maior para tokens posteriores no enunciado, particularmente o token final, sugerindo que a informação posicional se torna mais acessível à medida que a integração contextual se aprofunda.

3. Controlabilidade via Direcionamento de Ativação

Experimentos de intervenção demonstram que as posições de resposta podem ser causalmente manipuladas.

• Eficácia: O direcionamento de estados ocultos de uma posição de origem (A) para uma posição de destino (B) altera com sucesso a distribuição das respostas geradas.
• Injeção Otimizada: Intervenções aplicadas no penúltimo token do enunciado da pergunta produzem efeitos mais fortes e estáveis do que aquelas no token final (frequentemente um sinal de pontuação).
• Sensibilidade à Camada: O método de Diferença de Média mostra eficácia máxima em camadas intermediárias (por exemplo, camadas 11–15), alcançando deslocamentos de mais de 22% (A→B).
• Compensações: Embora o direcionamento possa deslocar a posição de destino, ele introduz uma compensação. Intervenções podem levar a deslocamentos "fora do alvo" (por exemplo, A→C/D) e, em alguns casos, a um desvio semântico onde a semântica da pergunta ou o espaço de opções são alterados para acomodar a nova posição.

4. Estratégias de Mitigação

• Prompting: Adicionar instruções explícitas para "balancear" a distribuição das respostas corretas reduz o viés, particularmente em modelos maiores ou orientados ao raciocínio (por exemplo, DeepSeek-Reasoner, Gemini-3-Pro). No entanto, modelos menores lutam para seguir essas restrições distribucionais globais, e o viés não é totalmente eliminado.

Significado e Alegações

O artigo afirma fornecer um framework prático para estudar o planejamento posicional implícito em LLMs. Suas principais contribuições são:

1. Evidência Empírica: Demonstrar que o viés de posição na geração de QMCs é sistemático, específico do modelo e persiste mesmo sem identificadores de opção explícitos.
2. Insight Mecanístico: Fornecer evidências de que as posições de resposta não são meramente incidentais, mas provavelmente parte de uma estratégia de planejamento implícito codificada nas representações ocultas do modelo. A capacidade de prever a posição da resposta a partir do enunciado da pergunta sugere que o modelo "decide" a posição antes de gerar as opções.
3. Manipulação Causal: Estabelecer que representações internas podem ser direcionadas para influenciar posições de resposta, confirmando um vínculo causal entre sinais de planejamento latente e distribuições de saída.
4. Implicações para Confiabilidade: Destacar que a construção confiável de QMCs requer mais do que apenas engenharia de prompts; é necessário entender e potencialmente controlar as dinâmicas internas da geração para garantir ferramentas de avaliação imparciais.

Os autores mantêm uma postura modesta, observando que, embora suas descobertas sugiram "mecanismos semelhantes a planejamento", elas não constituem prova definitiva de planejamento simbólico explícito. Eles também reconhecem limitações, como a dependência da eficácia da intervenção nas posições de injeção e o potencial de incoerência semântica ao forçar mudanças posicionais.