Resumen Técnico: Una Capa de Emoción Inspirada en Hormonas para Modelos de Lenguaje Transformer (HELT)

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) han logrado un éxito sin precedentes en la corrección gramatical y la relevancia contextual, carecen fundamentalmente de la capacidad de procesar y responder al contexto emocional de una manera análoga a la cognición emocional humana. Los enfoques actuales de Procesamiento del Lenguaje Natural (PLN) para el modelado de emociones están limitados por varias restricciones:

• Clasificación Discreta: Tratar la emoción como categorías estáticas y mutuamente excluyentes (por ejemplo, feliz, triste) no logra capturar la naturaleza continua, mezclada y fluida del afecto humano.
• Reducción Dimensional: Los modelos que dependen de la polaridad binaria o de espacios bidimensionales de activación-valencia son insuficientes para representar el espectro complejo y multidimensional de los estados emocionales humanos.
• Tokenización Estática: Los métodos que añaden etiquetas de emoción explícitas (por ejemplo, "[triste]") carecen de dinámicas temporales y representaciones aprendidas y contextuales, fallando en modelar cómo los estados emocionales evolucionan o interactúan con el tiempo.

En consecuencia, las respuestas estándar basadas en transformadores a menudo permanecen emocionalmente planas, sin reflejar entusiasmo, desactivar controversias o extender empatía auténtica.

Metodología: Arquitectura HormoneT5

El artículo introduce HormoneT5, una arquitectura novedosa que amplía el Transformer de Transferencia Texto-a-Texto (T5) preentrenado con un Bloque de Emoción Hormonal inspirado biológicamente. Este bloque simula el papel del sistema endocrino humano en el procesamiento emocional calculando seis valores continuos, similares a hormonas, derivados de los estados ocultos del codificador.

Componentes Principales

1. Bloque de Emoción Hormonal: Insertado entre el codificador y el decodificador de T5, este bloque actúa como un sistema endocrino computacional. Lee características lingüísticas, predice niveles de activación para seis hormonas específicas y modula las representaciones ocultas antes de la decodificación.
2. Cabezas de Atención por Hormona: El modelo emplea seis cabezas de atención especializadas en paralelo (una para cada hormona: Dopamina, Serotonina, Cortisol, Oxitocina, Adrenalina y Endorfinas).
   • Inicialización Ortogonal: Los vectores de consulta aprendibles para cada cabeza se inicializan de manera ortogonal para asegurar que abarquen subespacios diferentes, evitando el colapso de la atención.
   • Aprendizaje por Transferencia: Las proyecciones de Clave y Valor se inicializan a partir de los pesos de autoatención preentrenados de T5 para aprovechar el conocimiento lingüístico existente y garantizar la estabilidad del entrenamiento.
   • Escalado de Temperatura: Se aplica un factor de temperatura ($\tau = 0.5$) para crear distribuciones de atención más definidas, permitiendo que las hormonas se enfoquen en tokens específicos.
3. Mecanismo de Modulación: Los seis valores escalares hormonales se proyectan en una incrustación emocional unificada ($e$) y se aplican a los estados ocultos del codificador ($H$) mediante un mecanismo de puerta multiplicativa:
   $$\tilde{H} = H \odot (1 + \alpha \cdot e_{expanded})$$
   Aquí, $\alpha$ es un escalar aprendible limitado entre 0.1 y 0.5, asegurando una modulación estable y acotada sin dominar las representaciones lingüísticas originales.

Marco de Entrenamiento

El modelo utiliza un marco de entrenamiento multiobjetivo con una función de pérdida compuesta:

• Pérdida de Secuencia ($L_{seq}$): Entropía cruzada estándar para la generación de texto.
• Pérdida Hormonal ($L_{hormone}$): Una combinación de Error Cuadrático Medio (MSE) y una Pérdida de Margen. La pérdida de margen penaliza las predicciones que no alcanzan valores extremos (por ejemplo, <0.3 para estados bajos, >0.7 para estados altos), fomentando una diferenciación clara entre los tonos emocionales.
• Pérdida de Diversidad ($L_{diversity}$): Penaliza la similitud coseno entre los vectores de consulta de diferentes cabezas hormonales para asegurar la distinción funcional.

Contribuciones Clave

1. Arquitectura Novedosa: Introducción de un Bloque de Emoción Hormonal que calcula señales hormonales continuas mediante mecanismos de atención especializados, superando la clasificación discreta.
2. Estrategia de Aprendizaje por Transferencia: Demostración de que inicializar las proyecciones de Clave/Valor de la atención hormonal a partir de pesos preentrenados de T5 mejora significativamente la precisión y estabilidad de las predicciones.
3. Optimización Multiobjetivo: Una función de pérdida combinada que equilibra la calidad de generación, la predicción precisa de hormonas con penalizaciones de margen y la diversidad de atención.
4. Evaluación Exhaustiva: Evaluación automática y humana extensa que muestra mejoras significativas en la adecuación emocional y la calidad empática.
5. Lanzamiento de Código Abierto: Liberación completa del código, scripts de entrenamiento, conjunto de datos y pesos preentrenados para garantizar la reproducibilidad.

Resultados Experimentales

El modelo fue entrenado en un conjunto de datos curado de 1.200 ejemplos (ampliados a partir de 150 diálogos únicos) a través de cinco tonos emocionales (Amigable, Neutral, Grosero, Triste, Entusiasmado).

• Precisión en la Predicción Hormonal: HormoneT5 logró una precisión promedio del 85.5% (predicciones dentro de $\pm 0.15$ del objetivo) en las seis hormonas. La predicción de Cortisol fue la más alta con un 91.3%, mientras que la de Oxitocina fue la más baja con un 78.4%.
• Diferenciación: El modelo logró un rango de diferenciación promedio de 0.85, confirmando que no genera promedios planos sino que modula dinámicamente los estados internos. Por ejemplo, las entradas "Amigables" activaron altos niveles de Dopamina (0.92) y bajos niveles de Cortisol (0.08), mientras que las entradas "Groseras" invirtieron este perfil.
• Evaluación Humana: En un estudio ciego de pares con 15 evaluadores, HormoneT5 fue preferido sobre la línea base T5 en el 77% de los casos.
  • Adecuación Emocional: 4.12/5 (vs. 2.73 para la línea base, $p < 0.001$).
  • Calidad de la Empatía: 3.98/5 (vs. 2.45 para la línea base, $p < 0.001$).
  • Fluidez: Permaneció estadísticamente idéntica a la línea base (4.18 vs. 4.21), indicando que la modulación emocional no degradó la calidad lingüística.

Significado y Afirmaciones

El artículo afirma que HormoneT5 representa un paso significativo hacia la computación afectiva fundamentada biológicamente. Al modelar la emoción como una interacción continua y multidimensional de neuroquímicos en lugar de categorías discretas, la arquitectura logra cerrar la brecha entre la comprensión semántica y la resonancia emocional.

Los autores afirman que las cabezas de atención del modelo se alinearon naturalmente con funciones biológicas sin programación explícita (por ejemplo, cabezas de Cortisol atendiendo a marcadores de amenaza, cabezas de Oxitocina a pronombres sociales). Esto sugiere que los vectores hormonales continuos proporcionan un sesgo inductivo efectivo para capturar la intensidad y el matiz de los estados emocionales.

El trabajo abre nuevas direcciones para crear agentes conversacionales emocionalmente inteligentes capaces de generar respuestas contextualmente apropiadas. Sin embargo, los autores mantienen una postura modesta respecto a las limitaciones actuales, reconociendo que el modelo depende de un conjunto de datos pequeño, solo en inglés, con mapeos hormonales sintéticos, carece de dinámicas temporales para conversaciones largas y aún no incorpora señales multimodales. Enfatizan que las "hormonas" son abstracciones computacionales, no estados conscientes, y solicitan salvaguardas éticas rigurosas contra la manipulación y la amplificación de la toxicidad en implementaciones futuras.