HAL: Inducing Human-likeness in LLMs with Alignment

Resumo Técnico: HAL: Induzindo Semelhança Humana em LLMs através de Alinhamento

Declaração do Problema
Alinhar Grandes Modelos de Linguagem (LLMs) a traços comportamentais qualitativos, especificamente a "semelhança humana" na conversação, continua sendo um desafio significativo. Diferente das métricas orientadas a tarefas, a semelhança humana é difícil de definir, medir e otimizar sistematicamente. As melhorias atuais na percepção de semelhança humana são impulsionadas majoritariamente pela escala do modelo ou por treinamento supervisionado amplo, em vez de um alinhamento direcionado. Além disso, os julgamentos humanos de semelhança humana são tipicamente holísticos e implícitos, carecendo dos critérios explícitos necessários para construir um sinal de recompensa para reforço ou otimização de preferência. Consequentemente, não existe um método sistemático para alinhar modelos em direção a comportamentos conversacionais mais humanos.

Metodologia
O artigo apresenta o HAL (Human Aligning LLMs), um framework orientado a dados que quantifica a semelhança humana conversacional em um sinal de recompensa escalar interpretável. A metodologia procede em quatro estágios:

1. Extração de Traços de Dados Contrastivos:
   Os autores utilizam transcrições de diálogos de testes de Turing (especificamente de Jones e Bergen, 2025) como dados contrastivos contendo pares de conversas humano-humano e humano-IA. Um juiz baseado em LLM (inicialmente o GPT-5 com altas capacidades de raciocínio) analisa esses pares para gerar razões estruturadas, do tipo Likert, para distinguir o humano da IA. Essas razões em linguagem natural são incorporadas (embedded) e agrupadas (clustered) para identificar pistas recorrentes. Através de um processo de sumarização, estas são destiladas em um conjunto compacto de 32 características (HL32Q) que distinguem confiavelmente o diálogo humano do IA neste contexto.

2. Quantificação via Regressão Logística:
   Para converter esses traços qualitativos em um sinal quantitativo, os autores treinam um modelo de regressão logística. Um juiz LLM (Juiz HL32Q) pontua independentemente qualquer diálogo dado contra os 32 traços em uma escala Likert de 1 a 5, produzindo um vetor de características $A \in \mathbb{R}^{32}$. O modelo de regressão logística aprende pesos ($W$) e um viés ($b$) para prever se um diálogo é humano ($y=1$) ou IA ($y=0$).
   Para aumentar a interpretabilidade, os autores realizam a redução de características, selecionando os principais 16 traços (HL16Q) baseados na magnitude absoluta de seus pesos aprendidos. Isso resulta em um único Score de Semelhança Humana:
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   Este score serve como o sinal de recompensa para o alinhamento.

3. Otimização de Preferência (DPO):
   O framework estrutura o alinhamento como um problema de aprendizado de preferência. Para um conjunto de personas sintetizadas (principalmente em um domínio de comunicação médica), diálogos candidatos são gerados por vários modelos. Esses diálogos são pontuados usando o Juiz HL16Q. Pares de diálogos são construídos onde o diálogo com o maior score HL16Q é rotulado como "escolhido" (chosen) e o menor como "rejeitado" (rejected). Esses pares ranqueados são usados para ajustar modelos de vários tamanhos (de 1B a 72B de parâmetros) usando Otimização de Preferência Direta (DPO).

4. Avaliação:
   Os autores validam a abordagem através de:

   • Teste Fora da Distribuição (OOD): Avaliando o score HL16Q em um conjunto de dados separado de comunicação sobre câncer para garantir a generalizabilidade.
   • Avaliação Humana: Um teste A/B estilo Chatbot Arena onde participantes humanos julgam qual de dois modelos parece mais humano.
   • Benchmarks de Capacidade: Avaliando o desempenho em benchmarks de inteligência emocional (EmoBench, EQBench3) para garantir que o alinhamento não degrade outras capacidades.

Principais Resultados

• Identificação de Traços: O pipeline identificou com sucesso 32 traços distintos, reduzidos a 16 (HL16Q), que distinguem efetivamente o diálogo humano do IA. O classificador de regressão logística alcançou 77,47% de acurácia no dataset do teste de Turing usando os 32 traços completos e 77,12% com os 16 traços reduzidos.
• Generalizabilidade: Em um dataset OOD (comunicação de câncer), conversas humano-humano receberam scores HL16Q significativamente maiores do que conversas humano-IA (diferença média $\Delta = 3,02$, $p < 10^{-17}$), com um AUC de 0,907, indicando que os traços capturam pistas transferíveis de semelhança humana.
• Desempenho de Alinhamento: Em avaliações humanas, o modelo Qwen2.5-14B alinhado com HAL alcançou uma taxa de vitória de 61,78% e um score Elo de 1556,97, superando tanto sua contraparte base (53,62%) quanto o GPT-4o-mini proprietário (34,29%).
• Preservação de Capacidades: O alinhamento com HAL não levou a uma degradação sistemática nos benchmarks de inteligência emocional. Em vários casos, particularmente para modelos de pequena e média escala, o desempenho no EQBench3 melhorou após o alinhamento.
• Interpretabilidade: O framework permite a inspeção de mudanças específicas de traços durante o treinamento. Por exemplo, os autores observaram que o traço "Mantém respostas breves e casuais" (Q1) viu a mudança de distribuição mais significativa, validando que o modelo está aprendendo comportamentos específicos e interpretáveis, em vez de otimizar um objetivo opaco.

Significância e Alegações
O artigo afirma que o HAL demonstra um caminho viável para alinhar LLMs com propriedades "suaves" e qualitativas que anteriormente estavam fora do escopo dos objetivos de alinhamento padrão. Ao derivar traços explícitos e interpretáveis de dados contrastivos e comprimi-los em um sinal de recompensa transparente, o HAL possibilita:

1. Alinhamento Mensurável: Converter o conceito subjetivo de "semelhança humana" em um score escalar quantificável.
2. Transparência e Diagnóstico: Diferente dos modelos de recompensa de "caixa-preta", o score HL16Q permite que pesquisadores inspecionem quais traços conversacionais específicos estão sendo incentivados e diagnostiquem efeitos indesejados ou reward hacking.
3. Generalidade do Método: A abordagem oferece um método geral para induzir outros traços difíceis de especificar (ex: síncope, manipulação) ao inferi-los de exemplos contrastivos, desde que possam ser tornados mensuráveis.

Os autores observam que, embora o método melhore a percepção de semelhança humana, os traços extraídos são específicos das normas conversacionais dos dados de treinamento (testes de Turing) e podem exigir adaptação de domínio para outros contextos (ex: diálogo médico). Eles também reconhecem o custo computacional de usar um juiz LLM para construção de recompensa, mas posicionam o HAL como um passo de refinamento ou um método para construção de recompensas mais ricas onde a interpretabilidade é primordial.