Resumo Técnico: Uma Estrutura Baseada em Simetria para Medir Preferências de LLMs sob Especificações Conflitantes

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) operam cada vez mais em ambientes onde múltiplas especificações contextuais definem uma tarefa. Essas especificações frequentemente assumem formas diversas — instruções em linguagem natural, restrições formais, testes executáveis ou exemplos de entrada-saída — e podem ser inconsistentes ou diretamente conflitantes. Embora pesquisas anteriores tenham examinado como os modelos detectam ou reconciliam conflitos entre fontes de informação (por exemplo, em geração aumentada por recuperação ou verificação de fatos), há uma falta de métodos controláveis e atribuíveis para analisar sistematicamente como os modelos priorizam diferentes formas de especificação de tarefas quando estas apoiam comportamentos incompatíveis. Especificamente, permanece incerto se os LLMs exibem preferências sistemáticas por certos tipos de representação (por exemplo, formal vs. linguagem natural) e como essas preferências variam entre modelos e domínios de tarefas.

Metodologia

Os autores propõem uma estrutura experimental baseada em simetria projetada para medir as preferências dos modelos sob especificações conflitantes, tratando o problema como um processo de seleção sobre mapeamentos executáveis concorrentes.

Estrutura Central

1. Mapeamentos Executáveis: Uma tarefa é definida por um mapeamento $f: X \to Y$. Especificações conflitantes são construídas como pares de mapeamentos ($f_1, f_2$) que produzem saídas distintas e atribuíveis para uma consulta discriminativa $q^\star$ (onde $f_1(q^\star) \neq f_2(q^\star)$).
2. Atribuição: Como cada especificação induz uma saída concreta, a resposta do modelo pode ser diretamente atribuída a um mapeamento, ao outro, ou a nenhum dos dois. Isso transforma uma decisão implícita em uma variável observável.
3. Contrabalanço Baseado em Simetria: Para isolar as preferências de representação de fatores de confusão (como ordem de apresentação ou vieses de conteúdo específicos), a estrutura emprega configurações de simetria completa. Para qualquer comparação entre tipos de representação $A$ e $B$, quatro tentativas são geradas por instância de conflito:
   • $(A(f_1), B(f_2))$, $(B(f_1), A(f_2))$, $(A(f_2), B(f_1))$, $(B(f_2), A(f_1))$.
     Este design contrabalança a atribuição de tipos de representação aos mapeamentos subjacentes e a ordem de apresentação, permitindo a estimativa de preferência através da agregação que marginaliza fatores não visados.

Configuração Experimental

A estrutura foi instanciada em três domínios:

1. Benchmark Matemático: Um conjunto de dados controlado de 550 instâncias de conflito através de 11 famílias de funções (ex: operações algébricas, de grafos, de matrizes). Quatro tipos de representação foram comparados: Linguagem Natural Pura (NL), Linguagem Formal (Form), Linguagem Formal Naturalizada (NatF) e Exemplos de Entrada-Saída (Ex).
2. Álgebra Booleana: Conflitos entre fórmulas simbólicas e tabelas de verdade.
3. Geração de Código: Conflitos entre documentação em linguagem natural e testes unitários executáveis (derivados do dataset MBPP).
4. Regras Clínicas: Conflitos envolvendo limiares de dosagem renal e indicações de idade pediátrica derivados de rótulos da openFDA, testando conflitos entre regras genuínas e perturbações de preservação de esquema.

Principais Resultados

1. Preferências Sistemáticas de Representação (Benchmark Matemático)

Através de múltiplos modelos (incluindo as famílias DeepSeek, GPT e Llama), o estudo identificou uma ordenação de preferência consistente para a resolução de conflitos matemáticos:
$$\text{Formal} \approx \text{Naturalizada Formal} > \text{Linguagem Natural Pura} > \text{Exemplos de Entrada-Saída}$$

• Formal vs. Linguagem Natural: Os modelos selecionaram especificações formais sobre linguagem natural pura em ~87% das respostas atribuíveis.
• Formal vs. Exemplos: A preferência por especificações formais sobre exemplos foi ainda mais forte (~93%).
• Naturalizada Formal: Apesar de serem expressas em linguagem natural, as especificações formais naturalizadas comportaram-se de forma semelhante às especificações formais puras, sugerindo que a presença de estrutura matemática explícita é o fator dominante, não a sintaxe de superfície.
• Variância do Modelo: Embora a hierarquia geral tenha se mantido, a força relativa das preferências variou. Por exemplo, a preferência por formal sobre naturalizada formal não foi uniforme; alguns modelos (ex: GPT-5-nano) favoreceram a naturalizada formal, enquanto outros (ex: DeepSeek-V4-Flash) favoreceram a formal pura.

2. O Papel dos Exemplos

A competitividade dos exemplos de entrada-saída mostrou-se altamente dependente da capacidade do modelo e da estrutura da tarefa:

• Dependência de Capacidade: Variantes de modelos com maior capacidade geralmente selecionaram mapeamentos apoiados por exemplos com mais frequência do que variantes de menor capacidade.
• Dependência de Tarefa: Exemplos foram mais competitivos contra linguagem natural pura (taxas de seleção de até ~55% para alguns modelos), mas significativamente menos competitivos contra especificações formais ou formais naturalizadas (taxas de seleção frequentemente <10%).
• Sensibilidade à Estrutura: Exemplos tiveram dificuldade quando a especificação concorrente expunha uma estrutura matemática explícita, pois as demonstrações finitas eram insuficientes para recuperar a regra em comparação com as restrições explícitas da notação formal.

3. Achados de Domínios Heterogêneos

• Álgebra Booleana: Os modelos exibiram uma forte preferência por representações simbólicas compactas e composicionais (fórmulas e netlists de portas) sobre tabelas de verdade exaustivas. No entanto, a preferência entre fórmulas e netlists de portas foi dependente do modelo, sugerindo que não há uma hierarquia universal para representações estruturalmente similares.
• Geração de Código: Uma divergência acentuada foi observada com base na capacidade do modelo. Modelos com pontuação inferior geralmente favoreceram a documentação em linguagem natural, enquanto modelos de pontuação superior favoreceram fortemente os testes executáveis (até 97% de seleção para os melhores modelos).
• Regras Clínicas: Em ambientes clínicos, a hierarquia de representação não se transferiu de forma limpa. Em vez disso, emergiu um viés específico do domínio: os modelos consistentemente preferiram a regra mais restritiva (52%–87% de seleção), independentemente de a regra ser o rótulo "genuíno" ou uma perturbação. Isso indica que, em domínios de alto risco, os vieses de segurança/restritividade podem sobrepor-se às preferências de representação.

4. Robustez e Abstenção

• Ordem de Apresentação: Embora fosse um efeito secundário, a ordem de apresentação teve um impacto mínimo comparado ao tipo de representação, exceto quando as especificações concorrentes tinham força semelhante (ex: Formal vs. Naturalizada Formal).
• Abstenção: Quando explicitamente permitidos a responder "incerto", os modelos (particularmente o GPT-5-nano) utilizaram a abstenção como uma estratégia de tratamento de conflito, com taxas variando significamente por par de representação (ex: ~64% de abstenção para conflitos Formal vs. Naturalizada Formal no GPT-5-nano).

Significância e Alegações

O artigo afirma estabelecer o conflito de resolução em LLMs como um problema de medição controlado, executável e com contabalanço de simetria.

• Medição Atribuível: Ao utilizar verdade fundamental executável e contabalanço de simetria, a estrutura permite a atribuição direta das saídas do modelo a especificações específicas, indo além da análise qualitativa de "alucinação" ou "reconciliação".
• Estruturado, mas Dependente de Contexto: Os resultados caracterizam a resolução de conflitos de LLM não como ruído aleatório, mas como um processo de seleção estruturado. No entanto, essa estrutura é dependente do contexto: embora exista uma preferência geral por estrutura explícita em tarefas matemáticas, fatores específicos do domínio (como restritividade em regras clínicas ou precisão de testes em geração de código) podem remodelar ou sobrepor essas preferências.
• Estrutura Unificada: O trabalho fornece uma abordagem experimental unificada para analisar como os modelos priorizam diferentes formas de especificação, demonstrando que essas preferências não são universais, mas variam sistematicamente entre modelos, famílias de tarefas e domínios.

Os autores concluem que compreender essas hierarquias implícitas é essencial para projetar sistemas confiáveis baseados em LLM, pois o "vencedor" em um conflito é determinado por uma interação complexa entre o tipo de representação, a capacidade do modelo e as restrições específicas do domínio.