HAL: Inducing Human-likeness in LLMs with Alignment

Resumen Técnico: HAL: Induciendo la semejanza humana en los LLM mediante el alineamiento

Planteamiento del problema
Alinear los Modelos de Lenguaje de Gran Escala (LLM) con rasgos conductuales cualitativos, específicamente la "semejanza humana" en la conversación, sigue siendo un desafío significativo. A diferencia de las métricas orientadas a tareas, la semejanza humana es difícil de definir, medir y optimizar sistemáticamente. Las mejoras actuales en la percepción de la semejanza humana son impulsadas principalmente por la escala del modelo o por un entrenamiento supervisado general, en lugar de un alineamiento dirigido. Además, los juicios humanos sobre la semejanza humana son típicamente holísticos e implícitos, careciendo de los criterios explícitos necesarios para construir una señal de recompensa para el aprendizaje por refuerzo o la optimización de preferencias. En consecuencia, no existe un método sistemático para alinear los modelos hacia comportamientos conversacionales más humanos.

Metodología
El artículo presenta HAL (Human Aligning LLMs), un marco basado en datos que cuantifica la semejanza conversacional humana en una señal de recompensa escalar interpretable. La metodología procede en cuatro etapas:

1. Extracción de rasgos a partir de datos contrastivos:
   Los autores utilizan transcripciones de diálogos de la prueba de Turing (específicamente de Jones y Bergen, 2025) como datos contrastivos que contienen pares de conversaciones humano-humano y humano-IA. Un juez basado en LLM (inicialmente GPT-5 con altas capacidades de razonamiento) analiza estos pares para generar razones estructuradas, de estilo Likert, para distinguir al humano de la IA. Estas razones en lenguaje natural se integran (embedding) y se agrupan para identificar claves recurrentes. A través de un proceso de resumen, estas se destilan en un conjunto compacto de 32 características (HL32Q) que distinguen de manera fiable el diálogo humano del de la IA en este contexto.

2. Cuantificación mediante regresión logística:
   Para convertir estos rasgos cualitativos en una señal cuantitativa, los autores entrenan un modelo de regresión logística. Un juez de LLM (Juez HL32Q) califica de forma independiente cualquier diálogo dado frente a los 32 rasgos en una escala Likert de 1 a 5, produciendo un vector de características $A \in \mathbb{R}^{32}$. El modelo de regresión logística aprende pesos ($W$) y un sesgo ($b$) para predecir si un diálogo es humano ($y=1$) o IA ($y=0$).
   Para mejorar la interpretabilidad, los autores realizan una reducción de características, seleccionando los 16 rasgos principales (HL16Q) basados en la magnitud absoluta de sus pesos aprendidos. Esto resulta en un único Puntaje de Semejanza Humana:
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   Este puntaje sirve como la señal de recompensa para el alineamiento.

3. Optimización de preferencias (DPO):
   El marco plantea el alineamiento como un problema de aprendizaje de preferencias. Para un conjunto de personas (personas) sintetizadas (principalmente en un dominio de comunicación médica), diversos modelos generan diálogos candidatos. Estos diálogos son puntuados utilizando el Juez HL16Q. Se construyen pares de diálogos donde el diálogo con el puntaje HL16Q más alto se etiqueta como "elegido" (chosen) y el de menor puntaje como "rechazado" (rejected). Estos pares clasificados se utilizan para ajustar modelos de diversos tamaños (desde 1B hasta 72B de parámetros) utilizando Optimización de Preferencias Directas (DPO).

4. Evaluación:
   Los autores validan el enfoque a través de:

   • Pruebas fuera de la distribución (OOD): Evaluando el puntaje HL16Q en un conjunto de datos de comunicación sobre cáncer separado para asegurar la generalizabilidad.
   • Evaluación humana: Una prueba A/B de estilo Chatbot Arena donde participantes humanos juzgan qué de dos modelos se siente más humano.
   • Benchmarks de capacidad: Evaluando el rendimiento en benchmarks de inteligencia emocional (EmoBench, EQBench3) para asegurar que el alineamiento no degrade otras capacidades.

Resultados Clave

• Identificación de rasgos: El flujo de trabajo identificó con éxito 32 rasgos distintos, reducidos a 16 (HL16Q), que distinguen eficazmente el diálogo humano del de la IA. El clasificador de regresión logística logró una precisión del 7 de 7,47% en el conjunto de datos de la prueba de Turing usando los 32 rasgos completos y del 77,12% con los 16 rasgos reducidos.
• Generalizabilidad: En un conjunto de datos OOD (comunicación sobre cáncer), las conversaciones humano-humano recibieron puntajes HL16Q significativamente más altos que las conversaciones humano-IA (diferencia media $\Delta = 3,02$, $p < 10^{-17}$), con un AUC de 0,907, lo que indica que los rasgos capturan claves transferibles de la semejanza humana.
• Desempeño del alineamiento: En las evaluaciones humanas, el modelo Qwen2.5-14B alineado con HAL logró una tasa de victoria del 61,78% y un puntaje Elo de 1556,97, superando tanto a su contraparte base (53,62%) como al modelo propietario GPT-4o-mini (34,29%).
• Preservación de capacidades: El alineamiento con HAL no condujo a una degradación sistemática en los benchmarks de inteligencia emocional. En varios casos, particularmente para modelos de escala pequeña y media, el desempeño en EQBench3 mejoró tras el alineamiento.
• Interpretabilidad: El marco permite la inspección de cambios en rasgos específicos durante el entrenamiento. Por ejemplo, los autores observaron que el rasgo "Mantiene las respuestas breves y casuales" (Q1) experimentó el cambio de distribución más significativo, validando que el modelo está aprendiendo comportamientos específicos e interpretables en lugar de optimizar un objetivo opaco.

Significancia y Reivindicaciones
El artículo afirma que HAL demuestra una vía viable para alinear los LLM con propiedades "suaves" y cualitativas que anteriormente estaban fuera del alcance de los objetivos de alineamiento estándar. Al derivar rasgos explícitos e interpretables a partir de datos contrastivos y comprimirlos en una señal de recompensa transparente, HAL permite:

1. Alineamiento Medible: Convertir el concepto subjetivo de "semejanza humana" en una recompensa escalar cuantificable.
2. Transparencia y Diagnóstico: A diferencia de los modelos de recompensa de caja negra, el puntaje HL16Q permite a los investigadores inspeccionar qué rasgos conversacionales específicos se están fomentando y diagnosticar efectos no deseados o el "hackeo de la recompensa" (reward hacking).
3. Generalidad del Método: El enfoque ofrece una metodología general para inducir otros rasgos difíciles de especificar (por ejemplo, la sicofancia o la manipulación) infiriéndolos de ejemplos contrastivos, siempre que puedan hacerse medibles.

Los autores señalan que, si bien el método mejora la percepción de semejanza humana, los rasgos extraídos son específicos de las normas conversacionales de los datos de entrenamiento (pruebas de Turing) y pueden requerir adaptación de dominio para otros contextos (por ejemplo, el diálogo médico). También reconocen el costo computacional de utilizar un juez de LLM para la construcción de la recompensa, pero posicionan a HAL como un paso de refinamiento o un método para una construcción de recompensa más rica donde la interpretabilidad es primordial.