Benchmark for Assessing Olfactory Perception of Large Language Models

1. O Problema

O sentido do olfato ocupa uma posição única entre as modalidades perceptivas humanas. Diferente da visão (onde comprimentos de onda mapeiam para cores) ou da audição (frequências para tons), o olfato opera através de uma interação complexa entre a estrutura molecular e a biologia dos receptores, que ainda não é completamente compreendida. Embora os humanos possam distinguir trilhões de odores, prever como uma molécula cheira apenas a partir de sua estrutura química tem sido um desafio histórico para abordagens computacionais.

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado capacidades notáveis em raciocínio químico (interpretando SMILES, prevendo reações), não existia uma avaliação sistemática sobre se esses modelos gerais possuem conhecimento factual real sobre as propriedades olfativas das moléculas ou se conseguem raciocinar sobre a relação estrutura-odor. Trabalhos anteriores focaram em alinhamento perceptual subjetivo ou em modelos especializados de aprendizado de máquina, mas não em LLMs gerais através de perguntas estruturadas com respostas de verdade (ground-truth).

2. Metodologia

Os autores introduzem o Olfactory Perception (OP) Benchmark, um framework de avaliação abrangente composto por 1.010 perguntas divididas em 8 categorias de tarefas.

Estrutura do Benchmark

As tarefas cobrem desde a detecção básica até mecanismos biológicos complexos:

1. Classificação de Odor (OC): Binária (Odoroso vs. Inodoro).
2. Descritor Primário de Odor (OPD): Seleção de um descritor principal entre opções.
3. Intensidade e Prazer (OIn/OPl): Comparação pareada de qual molécula é mais intensa ou agradável.
4. Rate-all-that-apply (RATA): Perfilamento semântico multilabel (selecionar todos os descritores aplicáveis).
5. Similaridade de Misturas (OS): Previsão da similaridade perceptual entre duas misturas de moléculas.
6. Ativação de Receptores Olfativos (ORA): Identificação de quais receptores humanos (ORs) são ativados por uma molécula.
7. Teste de Identificação de Cheiro (SIT): Identificação da fonte de odor (ex: alimentos) a partir de um perfil molecular.

Estratégia de Prompting Duplo

Uma característica distintiva do estudo é o uso de dois formatos de entrada para cada pergunta:

• Nomes Compostos: Nomes químicos comuns (ex: "Benzaldeído").
• SMILES Isoméricos: Notação molecular estrutural (ex: O=CC1=CC=CC=C1).
• Objetivo: Avaliar se o modelo raciocina sobre a estrutura molecular ou apenas recupera associações lexicais dos nomes. O uso de isômeros (que podem cheirar diferente, como a carvona R vs. S) testa a sensibilidade à estereoquímica.

Modelos Avaliados

O estudo testou 21 configurações de modelos de seis provedores principais (OpenAI, Google, Anthropic, xAI, DeepSeek, Meta), incluindo modelos de raciocínio avançado (ex: GPT-5, Claude Opus 4.6, Gemini 2.5 Pro) e modelos de código aberto (Llama 3.3, DeepSeek). Também foi avaliada a variação do "orçamento de raciocínio" (tokens de pensamento).

Avaliação Multilíngue

Um subconjunto das tarefas (RATA) foi traduzido para 21 idiomas para testar a robustez do conhecimento olfativo além do inglês e avaliar se a agregação de previsões multilíngues melhora a performance.

3. Principais Contribuições

1. Primeiro Benchmark Abrangente de Olfato para LLMs: Estabelece um padrão para avaliar conhecimento factual e raciocínio olfativo, com respostas baseadas em dados científicos validados (como o Principal Odor Map e datasets do DREAM Challenge).
2. Análise de Representação Molecular: Demonstra empiricamente que a forma como a molécula é apresentada (nome vs. estrutura) impacta drasticamente a performance, revelando a natureza do conhecimento dos LLMs.
3. Linha de Base de Performance: Fornece métricas detalhadas para os modelos mais avançados do estado da arte, identificando lacunas específicas entre raciocínio estrutural e associação lexical.
4. Insights Multilíngues: Mostra que a agregação de previsões de múltiplos idiomas melhora significativamente a precisão, sugerindo que diferentes línguas capturam aspectos complementares do conhecimento olfativo.

4. Resultados Chave

Performance Geral

• O melhor desempenho global foi alcançado pelo Claude Opus 4.6 (configuração max) com 64,4% de precisão usando prompts de nomes compostos.
• Outros modelos líderes (GPT-5.2 Pro, Claude Opus 4.6 high) ficaram na faixa de 62-63%.
• Modelos de código aberto (Llama 3.3 70B) tiveram desempenho inferior (52,7%), destacando uma lacuna entre sistemas proprietários e de código aberto em tarefas de percepção especializada.

A Lacuna de Representação (Nomes vs. SMILES)

• Descoberta Crítica: Prompts baseados em nomes compostos superaram consistentemente os baseados em SMILES isoméricos em todas as 21 configurações de modelos.
• Ganhos: A melhoria variou de +2,4 a +18,9 pontos percentuais (média de ~+7 pontos).
• Implicação: Isso sugere que os LLMs atuais acessam o conhecimento olfativo principalmente através de associações lexicais (memorização de nomes e descrições textuais) em vez de raciocínio estrutural sobre a química molecular. Modelos de ponta mantêm alta performance em SMILES, mas modelos menores colapsam quase ao acaso quando o nome é removido.

Desempenho por Tarefa

• Tarefas Simples (OC, OPD, OIn, OPl): Alta precisão (até 92% em classificação de odor).
• Tarefas Intermediárias (RATA, OS): Performance moderada (máximo de ~42% em RATA).
• Tarefas Difíceis (ORA, SIT): Grande variância. A identificação de odores de alimentos (SIT) foi surpreendentemente boa (80%), possivelmente devido ao conhecimento geral sobre alimentos. A ativação de receptores (ORA) foi a mais difícil (máximo de 52,8%), exigindo conhecimento bioquímico específico.

Falhas Sistemáticas

• Similaridade de Misturas: Os modelos falharam consistentemente em prever a similaridade perceptual de misturas complexas. Eles tendem a usar a sobreposição molecular como proxy para similaridade (se as moléculas são diferentes, o cheiro é diferente), ignorando que misturas com poucas moléculas em comum podem cheirar muito semelhantes.
• Viés de Segurança: O modelo Claude Opus 4.6 recusou-se a responder perguntas sobre compostos perigosos (ex: agentes nervosos), penalizando sua pontuação em tarefas científicas legítimas.
• Erro de Conhecimento Específico: Houve falhas consistentes em prever a ativação de receptores mutantes específicos (ex: D296N), onde alguns modelos assumiram erroneamente perda de função sem correção durante o raciocínio.

Avaliação Multilíngue

• A agregação de previsões através de 21 idiomas melhorou a performance, alcançando um AUROC de 0,86 para o melhor ensemble de linguagem.
• Línguas indo-europeias (inglês, francês, alemão) geralmente performaram melhor individualmente, mas a diversidade linguística foi crucial para cobrir lacunas de conhecimento.

5. Significado e Conclusão

O trabalho posiciona o olfato como uma modalidade desafiadora e subexplorada para a avaliação de LLMs. Os resultados indicam que, embora os modelos de ponta tenham adquirido conhecimento olfativo significativo, eles ainda dependem fortemente de associações textuais e não possuem um modelo interno robusto de como a estrutura química se traduz em percepção sensorial.

Implicações Futuras:

• Para aplicações práticas (design de fragrâncias, desenvolvimento de sabores, detecção de contaminantes), os modelos atuais ainda não são totalmente confiáveis para raciocínio estrutural puro.
• O benchmark fornece uma base para desenvolver sistemas híbridos que combinam LLMs com ferramentas de quimioinformática.
• A necessidade de superar a "lacuna de fundamentação" (grounding gap) em percepção sensorial, onde os modelos aprendem a linguagem do cheiro, mas não a experiência física do cheiro.

Em suma, o OP Benchmark revela que os LLMs podem "ler" sobre o cheiro, mas ainda têm dificuldade em "raciocinar" sobre o cheiro a partir da química pura, destacando a necessidade de avanços na integração de raciocínio estrutural e conhecimento perceptual.