Resumo Técnico: Uma Camada de Emoção Inspirada em Hormônios para Modelos de Linguagem Transformer (HELT)

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado sucesso sem precedentes na correção gramatical e na relevância contextual, eles fundamentalmente carecem da capacidade de processar e responder ao contexto emocional de maneira análoga à cognição emocional humana. As abordagens atuais de Processamento de Linguagem Natural (PLN) para modelagem de emoção estão limitadas por várias restrições:

• Classificação Discreta: Tratar a emoção como categorias estáticas e mutuamente exclusivas (por exemplo, feliz, triste) falha em capturar a natureza contínua, mista e fluida do afeto humano.
• Redução Dimensional: Modelos que dependem de sentimento binário ou espaços de arousal-valência bidimensionais são insuficientes para representar o espectro complexo e multidimensional dos estados emocionais humanos.
• Tokenização Estática: Métodos que antecedem rótulos explícitos de emoção (por exemplo, "[triste]") carecem de dinâmicas temporais e representações contextuais aprendidas, falhando em modelar como os estados emocionais evoluem ou interagem ao longo do tempo.

Consequentemente, as respostas padrão baseadas em transformer frequentemente permanecem emocionalmente planas, falhando em refletir entusiasmo, desarmar contendas ou estender empatia autêntica.

Metodologia: Arquitetura HormoneT5

O artigo apresenta o HormoneT5, uma arquitetura inovadora que amplia o Transformer de Transferência Texto-a-Texto (T5) pré-treinado com um Bloco de Emoção Hormonal inspirado biologicamente. Este bloco simula o papel do sistema endócrino humano no processamento emocional, calculando seis valores contínuos, semelhantes a hormônios, derivados dos estados ocultos do codificador.

Componentes Principais

1. Bloco de Emoção Hormonal: Inserido entre o codificador e o decodificador do T5, este bloco atua como um sistema endócrino computacional. Ele lê características linguísticas, prevê níveis de ativação para seis hormônios específicos e modula as representações ocultas antes da decodificação.
2. Cabeças de Atenção por Hormônio: O modelo emprega seis cabeças de atenção paralelas e especializadas (uma para cada hormônio: Dopamina, Serotonina, Cortisol, Oxitocina, Adrenalina e Endorfinas).
   • Inicialização Ortogonal: Vetores de consulta aprendíveis para cada cabeça são inicializados ortogonalmente para garantir que abrangam subespaços diferentes, prevenindo o colapso da atenção.
   • Aprendizado por Transferência: Projeções de Chave e Valor são inicializadas a partir dos pesos de auto-atenção pré-treinados do T5 para aproveitar o conhecimento linguístico existente e garantir estabilidade no treinamento.
   • Escala de Temperatura: Um fator de temperatura ($\tau = 0.5$) é aplicado para criar distribuições de atenção mais nítidas, permitindo que os hormônios se concentrem em tokens específicos.
3. Mecanismo de Modulação: Os seis valores escalares hormonais são projetados em um embedding emocional unificado ($e$) e aplicados aos estados ocultos do codificador ($H$) por meio de um mecanismo de portão multiplicativo:
   $$\tilde{H} = H \odot (1 + \alpha \cdot e_{expanded})$$
   Aqui, $\alpha$ é um escalar aprendível limitado entre 0,1 e 0,5, garantindo modulação estável e limitada sem dominar as representações linguísticas originais.

Framework de Treinamento

O modelo utiliza um framework de treinamento multiobjetivo com uma função de perda composta:

• Perda de Sequência ($L_{seq}$): Entropia cruzada padrão para geração de texto.
• Perda Hormonal ($L_{hormone}$): Uma combinação de Erro Quadrático Médio (MSE) e uma Perda de Margem. A perda de margem penaliza previsões que não atingem valores extremos (por exemplo, <0,3 para estados baixos, >0,7 para estados altos), incentivando uma diferenciação clara entre tons emocionais.
• Perda de Diversidade ($L_{diversity}$): Penaliza a similaridade cosseno entre vetores de consulta de diferentes cabeças hormonais para garantir distinção funcional.

Contribuições Principais

1. Arquitetura Inovadora: Introdução de um Bloco de Emoção Hormonal que calcula sinais hormonais contínuos por meio de mecanismos de atenção especializados, indo além da classificação discreta.
2. Estratégia de Aprendizado por Transferência: Demonstração de que inicializar as projeções de Chave/Valor da atenção hormonal a partir dos pesos pré-treinados do T5 melhora significativamente a precisão e a estabilidade das previsões.
3. Otimização Multiobjetivo: Uma função de perda combinada que equilibra a qualidade da geração, a previsão precisa de hormônios com penalidades de margem e a diversidade de atenção.
4. Avaliação Abrangente: Extensa avaliação automática e humana mostrando melhorias significativas na adequação emocional e na qualidade empática.
5. Lançamento de Código Aberto: Lançamento completo de código, scripts de treinamento, conjunto de dados e pesos pré-treinados para garantir reprodutibilidade.

Resultados Experimentais

O modelo foi treinado em um conjunto de dados curado de 1.200 exemplos (expandido de 150 diálogos únicos) em cinco tons emocionais (Amigável, Neutro, Grotesco, Triste, Animado).

• Precisão na Previsão Hormonal: O HormoneT5 alcançou 85,5% de precisão média (previsões dentro de $\pm 0,15$ do alvo) em todos os seis hormônios. A previsão de Cortisol foi a mais alta, com 91,3%, enquanto a de Oxitocina foi a mais baixa, com 78,4%.
• Diferenciação: O modelo alcançou uma faixa de diferenciação média de 0,85, confirmando que não produz médias planas, mas modula dinamicamente os estados internos. Por exemplo, entradas "Amigáveis" acionaram alta Dopamina (0,92) e baixo Cortisol (0,08), enquanto entradas "Grotescas" inverteram esse perfil.
• Avaliação Humana: Em um estudo cego de pares com 15 avaliadores, o HormoneT5 foi preferido em relação ao T5 de base em 77% dos casos.
  • Adequação Emocional: 4,12/5 (vs. 2,73 para a base, $p < 0,001$).
  • Qualidade de Empatia: 3,98/5 (vs. 2,45 para a base, $p < 0,001$).
  • Fluência: Permaneceu estatisticamente idêntica à base (4,18 vs. 4,21), indicando que a modulação emocional não degradou a qualidade linguística.

Significado e Alegações

O artigo afirma que o HormoneT5 representa um passo significativo em direção à computação afetiva fundamentada biologicamente. Ao modelar a emoção como uma interação contínua e multidimensional de neuroquímicos em vez de categorias discretas, a arquitetura conecta com sucesso a lacuna entre a compreensão semântica e a ressonância emocional.

Os autores afirmam que as cabeças de atenção do modelo se alinharam naturalmente a funções biológicas sem programação explícita (por exemplo, cabeças de Cortisol atendendo a marcadores de ameaça, Oxitocina a pronomes sociais). Isso sugere que vetores hormonais contínuos fornecem um viés indutivo eficaz para capturar a intensidade e a nuance dos estados emocionais.

O trabalho abre novas direções para a criação de agentes conversacionais emocionalmente inteligentes capazes de gerar respostas contextualmente apropriadas. No entanto, os autores mantêm uma postura modesta quanto às limitações atuais, reconhecendo que o modelo depende de um conjunto de dados pequeno, apenas em inglês, com mapeamentos hormonais sintéticos, carece de dinâmicas temporais para conversas longas e ainda não incorpora pistas multimodais. Eles enfatizam que os "hormônios" são abstrações computacionais, não estados sencientes, e apelam por salvaguardas éticas rigorosas contra manipulação e amplificação de toxicidade em implementações futuras.