Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Resumo Técnico: Medindo Palavras de Intensidade Vaga em Ações Numéricas de LLMs

Declaração do Problema
À medida que os modelos de linguagem (LLMs) são cada vez mais incorporados em agentes e sistemas de controle em linguagem natural, eles devem traduzir instruções humanas vagas (por exemplo, "aumentar ligeiramente", "reduzir drasticamente") em ações numéricas precisas com consequências a jusante. Embora pesquisas anteriores tenham estabelecido que os humanos preservam classificações ordinais em expressões vagas e que os LLMs podem ser sensíveis à formulação, há uma lacuna na compreensão de como os modelos mapeiam esses modificadores de intensidade para saídas numéricas concretas em um ambiente controlado. Especificamente, permanece submedido se os modelos preservam a estrutura ordinal hipotética das palavras de intensidade quando forçados a selecionar um único valor numérico, como o contexto (estado do sistema) influencia esse mapeamento e como os modelos se comportam perto dos limites de viabilidade operacional.

Metodologia
O estudo emprega um ambiente sintético e restrito de alocação de recursos para isolar a tradução de linguagem para ação.

• Configuração Experimental: O modelo (Claude Haiku) recebe instruções em linguagem natural para aumentar uma alocação de tarefas usando uma de 10 palavras de intensidade específicas. Um backend determinístico converte a chamada de ferramenta numérica do modelo em um resultado mensurável.
• Escala de Palavras: Dez modificadores de grau em inglês foram selecionados para abranger seis níveis hipotéticos com base na taxonomia de Quirk et al. (1985), variando de diminuidores fracos (ligeiramente, marginalmente) a maximizadores (drasticamente, dramaticamente).
• Condições:
  1. Sem Contexto: As instruções carecem do estado atual do sistema (por exemplo, "gastar [PALAVRA] mais tempo").
  2. Condicionada ao Contexto: As instruções incluem a alocação inicial (por exemplo, "A alocação atual é X%. Gostaria de [PALAVRA] aumentar"). Dez valores de linha de base (de 0% a 89%) foram testados, incluindo números redondos e valores irregulares.
  3. Controles: Prompts com números exatos validaram o sistema de teste.
• Parâmetros: Os experimentos foram executados com temperaturas $T=0.0$ e $T=0.7$, com 30 execuções por célula (totalizando 6.620 execuções).
• Análise: O estudo utiliza estatísticas não paramétricas, incluindo o $\rho$ de Spearman para correlação ordinal e testes de Kruskal-Wallis com tamanhos de efeito ($\varepsilon^2$) para determinar se a escolha da palavra ou a alocação inicial explica mais variância na saída.

Principais Resultados
Três padrões primários emergiram nos experimentos:

1. Compressão de Intensidade: Na condição sem contexto, o modelo comprime 10 palavras de intensidade distintas em apenas 5 saídas medianas distintas. As quatro palavras de nível mais baixo (ligeiramente, marginalmente, um pouco, levemente) mapeiam todas para uma alocação mediana de 0,50 com variância zero. Palavras mais fortes se dividem em regimes superiores (0,60–0,70). Embora exista uma forte correlação ordinal ($\rho = 0,845$), distinções lexicais de alta granularidade são colapsadas.
2. Dominância do Estado: Quando o contexto é fornecido, a alocação inicial domina a escolha da palavra. Agrupar por linha de base explica cerca de 10 vezes mais variância baseada em classificação do que agrupar por palavra ($\varepsilon^2_{linha\ de\ base} = 0,782$ vs. $\varepsilon^2_{palavra} = 0,079$). À medida que o sistema se aproxima da capacidade, a diferenciação entre palavras colapsa para zero; em uma linha de base de 75%, todas as 10 palavras produzem a mesma saída mediana.
3. Comportamento Descontínuo na Fronteira: Perto dos limites de viabilidade (alocação inicial de 89%), o modelo exibe três modos comportamentais distintos dependentes da palavra usada:
   • Proteção (Hedge): Palavras fracas fazem pequenos ajustes.
   • Abstenção: Palavras fortes (por exemplo, consideravelmente, substancialmente) frequentemente se recusam a agir totalmente, citando restrições.
   • Empurrar: A palavra drasticamente comporta-se de forma única, empurrando a alocação para o teto local (0,912) em vez de se abster.
     Esses padrões persistem em diferentes temperaturas; aumentar $T$ para 0,7 alarga as distribuições, mas não restaura distinções ordinais granulares.

Principais Contribuições

1. Metodologia: Um instrumento controlado para medir como os LLMs mapeiam palavras de intensidade vagas para ações numéricas, separando a tradução de linguagem para ação do ruído do sistema a jusante.
2. Evidência de Compressão: Documentação de que os modelos preservam regimes de intensidade grosseiros, mas colapsam distinções lexicais de alta granularidade em saídas numéricas idênticas.
3. Dependência de Contexto: Evidência quantitativa de que o estado atual do sistema domina a escolha da palavra em configurações condicionadas ao contexto, minando a confiabilidade de instruções vagas como sinais de controle invariantes ao contexto.
4. Descoberta de Fronteira: Identificação de abstenção dependente da palavra e comutação de modo categórico (proteção, agir, abster) perto dos limites operacionais, revelando descontinuidades em políticas de ação que não são visíveis apenas a partir da linguagem.

Significado e Alegações
O artigo postula que instruções vagas não devem ser assumidas como mapeadas para ações escalares estáveis em interfaces mediadas por LLMs. As descobertas sugerem que o vocabulário operacional do modelo é mais grosseiro do que a linguagem superficial implica e que o significado de uma palavra de intensidade é uma função conjunta da palavra e do estado do sistema, não um valor fixo.

O estudo enquadra essas descobertas como um problema específico de alinhamento: se uma interface mediada por modelo preserva a semântica pretendida pelo operador. Os resultados indicam um resultado misto: embora regimes amplos de intensidade sejam capturados, distinções finas são perdidas e o comportamento torna-se descontínuo perto das fronteiras. O autor nota explicitamente que o estudo não afirma que o modelo é "pior" do que os humanos, já que a interpretação humana dessas palavras também pode ser ambígua; ao contrário, o estudo documenta os padrões comportamentais específicos do modelo testado neste domínio. O artigo conclui que esses padrões são específicos do modelo e domínio testados, com trabalhos futuros planejados para incluir linhas de base humanas, comparações entre modelos e grades experimentais mais densas.