🤖 AI

COLIP-2: Olfaction-Vision-Language Embeddings

O artigo apresenta o COLIP-2, um modelo de incorporação multimodal que integra olfação, visão e linguagem para permitir que robôs localizem probabilisticamente odores em objetos, ao mesmo tempo em que destaca as limitações atuais dos dados de código aberto e a necessidade de novos conjuntos de dados para avançar a percepção olfativa.

Autores originais: Kordel Kade France

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kordel Kade France

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu smartphone não apenas vê o que você olha ou ouve o que você diz, mas também cheira o que está no ar. Por décadas, os computadores foram brilhantes em reconhecer rostos em fotos e compreender frases em livros, mas foram completamente cegos para o olfato. Eles não conseguem distinguir entre um biscoito recém-assado e um pneu queimando, mesmo que estejam olhando diretamente para eles. Este artigo mergulha no estranho e invisível mundo da olfação (o sentido do olfato) e tenta ensinar um computador a conectar um aroma ao objeto que o produziu.

Para entender como isso funciona, pense no "cérebro" de um computador como uma biblioteca gigante onde cada ideia tem um lugar específico em uma prateleira. Normalmente, fotos de cachorros ficam perto da palavra "cachorro", e fotos de gatos ficam perto de "gato". Isso é chamado de espaço compartilhado. Cientistas construíram bibliotecas massivas para a visão e as palavras, mas nunca tiveram livros suficientes sobre o cheiro para construir uma seção semelhante. A grande questão é: Podemos ensinar um robô a cheirar um aroma, olhar para uma sala e adivinhar: "Ah, esse cheiro está vindo da máquina de café, não da torradeira", sem nunca ter visto uma foto de uma máquina de café com cheiro de café antes? Este artigo explora exatamente isso, tentando fazer a ponte entre a estrutura química de uma molécula, os sensores de gás que a detectam e as fotos que tiramos com nossas câmeras.

A Ponte "Cheiro-Visão": Apresentando o COLIP-2

Conheça o COLIP-2 (Contrastive Olfaction-Language-Image Pre-training 2), um novo tipo de cérebro de computador construído pela Scentience, Inc. Pense nele como um tradutor universal que fala quatro línguas ao mesmo tempo: Moléculas (os minúsculos blocos de construção químicos), Sensores (os narizes eletrônicos que farejam o ar), Palavras (descrições como "cítrico" ou "defumado") e Imagens (o que sua câmera vê).

Antes disso, se você quisesse que um robô encontrasse um cheiro, teria que ensiná-lo um aroma específico de cada vez, como um cão aprendendo a encontrar uma droga específica. O COLIP-2 é diferente. Ele tenta aprender o conceito do cheiro. Ele pega a estrutura química de uma molécula, a leitura de um sensor de gás e uma descrição textual, e espreme tudo isso na mesma "prateleira" invisível em seu cérebro onde ele já guarda fotos do mundo.

Como Funciona: O Truque da "Sem Foto"

Aqui está a parte inteligente: os pesquisadores não tinham milhões de fotos de "objetos cheirosos" para treinar o modelo. Esses dados ainda não existem. Então, eles usaram um atalho inteligente. Eles perceberam que palavras como "floral" ou "queimado" já vivem no cérebro do computador devido à forma como ele entende imagens e textos.

Imagine que você tem um mapa do mundo onde "flores" estão perto de "jardins" e "fogo" está perto de "fumaça". O COLIP-2 pega um cheiro (como uma molécula) e pergunta: "Quais palavras descrevem isso?". Se o cheiro for "cítrico", o modelo coloca esse cheiro logo ao lado da palavra "cítrico" no mapa. Como o computador já sabe que a palavra "cítrico" está perto de fotos de limões e laranjas, o cheiro subitamente "sabe" onde os limões estão, mesmo que nunca tenha visto um limão antes! É como aprender que um novo sabor tem gosto de "limão" e, de repente, seu cérebro sabe exatamente onde está a árvore de limão em uma floresta que você nunca visitou.

As Duas Versões: Nuvem vs. Borda (Edge)

O artigo descreve duas versões deste cérebro:

O Gigante da Nuvem: Uma versão massiva e superprecisa (1,15 bilhão de parâmetros) que vive em servidores poderosos. É como um mestre chef que pode provar um prato e descrever cada tempero individualmente.
O Bolso da Borda (Edge Pocket): Uma versão minúscula e leve (101 milhões de parâmetros) projetada para rodar no cérebro de um robô ou em um telefone celular. É um pouco menos precisa, mas rápida o suficiente para rodar offline, permitindo que um robô fareje o ar e aponte para um cheiro em tempo real.

O Que Ele Realmente Pode Fazer

Quando você dá a este modelo uma foto de uma cozinha bagunçada e uma leitura de sensor de "álcool", ele não diz apenas "álcool detectado". Ele desenha um mapa de calor sobre a imagem. Ele destaca a garrafa de vodka com uma cor quente e brilhante, mostrando ao robô exatamente de onde vem o cheiro.

O artigo mostra que para cerca de 90% das moléculas em que foi testado, o modelo conseguiu encontrar a descrição correta do cheiro em suas cinco melhores tentativas. Quando se trata de identificar a fonte de um cheiro em uma imagem, ele acerta o objeto certo cerca de 72% das vezes para correspondências exatas, e 90% das vezes se você apenas pedir a categoria geral (como "fruta" em vez de um "maçã específica").

Os Limites: Onde Ele Tropeça

Os autores são muito honestos sobre o que este modelo não consegue fazer. Não é uma varinha mágica.

É um Localizador de "Famílias", Não um Detetive: O modelo é ótimo em dizer "isso tem cheiro de cítrico", mas tem dificuldade em dizer "isso é especificamente um limão, não uma laranja". Ele funciona melhor no nível da "família" (ex: "defumado", "floral") em vez de identificar uma molécula única e específica.
Sem Magia para Coisas Novas: Se você alimentá-lo com um produto químico completamente novo que ele nunca viu, ele não consegue nomeá-lo perfeitamente. Ele adivinhará a "família" à qual pertence, mas não saberá a identidade exata.
Não é para Segurança: O artigo alerta explicitamente: Não use isto para detectar vazamentos de gases tóxicos ou verificar se a comida está segura para comer. O modelo fornece classificações e probabilidades, não medições precisas. Se um robô achar que um cheiro é "provavelmente" um vazamento de gás, ele pode estar errado, e isso pode ser perigoso. É uma ferramenta de pesquisa, não um dispositivo de segurança.

O Futuro: Aprendendo Juntos

O artigo sugere que o maior obstáculo não é a inteligência do computador, mas sim a falta de dados. Não temos exemplos suficientes de "cheiro-e-visão" para ensinar o modelo perfeitamente. Para resolver isso, a equipe está usando um método chamado Aprendizado Federado (Federated Learning). Imagine milhares de robôs e sensores ao redor do mundo farejando coisas e aprendendo uns com os outros sem nunca compartilhar suas fotos privadas ou dados brutos. Eles enviam apenas as "lições" que aprenderam para um cérebro central, que então envia de volta uma versão mais inteligente para todos. Dessa forma, toda a frota fica mais inteligente junta, mantendo a privacidade dos dados de todos.

A Conclusão

O COLIP-2 é um passo significativo à frente, provando que podemos ensinar computadores a conectar cheiros a visões usando as palavras que já conhecemos. Ele sugere que, com a arquitetura certa, um robô pode olhar para uma cena e dizer: "Sinto algo defumado vindo daquela grelha". No entanto, os autores enfatizam que isto é apenas o começo. O modelo é um protótipo que nos mostra os limites do que é possível com os dados abertos de hoje. Para termos robôs de cheiro-visão verdadeiramente perfeitos, precisamos construir novos conjuntos de dados e coletar milhões de exemplos extras de cheiros pareados com imagens. Até lá, o COLIP-2 é uma ferramenta poderosa e lúdica para pesquisadores construírem o futuro dos narizes robóticos.

Resumo Técnico: COLIP-2 (Contrastive Olfaction-Language-Image Pre-training 2)

Declaração do Problema

Os modelos de fundação existentes, particularmente os Modelos de Visão-Linguagem (VLMs), carecem de uma percepção olfativa robusta e de interpretabilidade molecular. Embora VLMs de trilhões de parâmetros possam alinhar centenas de milhões de pares imagem-texto, um análogo olfativo comparável não existe devido à ausência de conjuntos de dados na escala do ImageNet que pareiem imagens com odores. O desafio central é que sensores químicos variam significamente em formatos de saída (por exemplo, óxido metálico, eletroquímico, infravermelho), criando barreiras para a integração robótica em tempo real. O desafio fundamental é fundamentar o olfato em um espaço de incorporação (embedding) compartilhado com visão e linguagem sem depender de conjuntos de dados massivos e inexistentes de pares odor-imagem, permitindo assim que robôs localizem fontes de odor em uma cena de forma probabilística.

Metodologia

O COLIP-2 é um modelo de incorporação multimodal que unifica quatro modalidades: estrutura molecular, leituras de sensores de gás, texto de descritores de odor e imagens. Diferente de seu predecessor (COLIP-1), que dependia de dados de treinamento sintéticos e co-treinamento simétrico, o COLIP-2 utiliza uma estratégia de alinhamento de "um lado só" ancorada por um Modelo de Visão-Linguagem (VLM) pré-treinado.

Arquitetura

O sistema consiste em três componentes primários:

Backbone de Visão-Linguagem Congelado: Um VLM de alta fidelidade (codificadores de imagem e texto) serve como a âncora. O codificador de texto é ajustado (fine-tuned) para codificar um vocabulário controlado de 175 descritores de odor (ex: "cítrico", "defumado") que atuam como âncoras compartilhadas. O codificador de imagem permanece congelado para preservar a geometria imagem-texto existente.
Codificador Olfativo Treinável: Um transformer de grafos compacto que processa estruturas moleculares (átomos e conectividade) em uma incorporação de odor. Existem duas variantes: uma versão de nuvem de alta fidelidade e uma versão quantizada de borda (edge) otimizada para inferência em dispositivos.
Codificador de Sensor Treinável: Um modelo de séries temporais que normaliza e codifica leituras brutas de diversos sensores químicos de terceiros (agnóstico ao tipo de substrato) no mesmo espaço de incorporação compartilhado.

Estratégia de Treinamento

O modelo emprega um objetivo de perda contrastiva onde os codificadores olfativos e de sensores são treinados para se alinharem às âncoras de descritores do VLM congelado.

Sem Necessidade de Dados Pareados: A fundamentação olfativa-visão emerge através da geometria compartilhada do espaço de texto. Como os descritores de odor já existem no espaço de legenda de imagem do VLM, alinhar moléculas/sensores a esses descritores alinha implicitamente eles aos objetos/imagens correspondentes sem a necessidade de pares explícitos de odor-imagem.
Ajuste Fino Protegido (Guarded Fine-tuning): O artigo detalha um estudo de ablação (Seção 9) investigando o ajuste fino do codificador de texto do VLM. Ele introduz um mecanismo de proteção $\lambda$ ( $\lambda$ -guardrail) para restringir o movimento das âncoras de texto em relação às suas posições congeladas. Isso evita o "desvio de âncora" (anchor drift), garantindo que o refinamento da recuperação olfação-linguagem não quebre catastroficamente a fundamentação visão-linguagem existente.

Implantação

O modelo é oferecido em duas configurações:

COLIP-2 Cloud: Um modelo de 1.15B de parâmetros para geração de mapas de calor de alta resolução via API.
COLIP-2 Edge: Um modelo de 101M de parâmetros, quantizado em int8, otimizado para inferência offline em tempo real em CPUs e pequenas GPUs.

Principais Contribuições

Fundamentação Olfativa Multimodal: Demonstra que o olfato pode ser fundamentado à visão e à linguagem usando conjuntos de dados abertos e díspares e o conhecimento de escala web de VLMs, contornando a necessidade de conjuntos de dados massivos de pares odor-imagem.
Agnosticismo de Sensor: Introduz um codificador de sensor personalizado que normaliza leituras de sensores químicos heterogêneos (óxido metálico, eletroquímicos, etc.) em um formato universal, reduzindo a barreira de entrada para aplicações robóticas.
Localização de Fonte de Aroma: Permite a geração de "mapas de calor de aroma" em imagens. Dado um aroma detectado (de uma molécula, sensor ou texto), o modelo classifica as regiões da imagem por probabilidade, destacando os objetos mais prováveis como fonte.
Infraestrutura de Aprendizado Federado (FLOS): Descreve um sistema de preservação de privacidade onde modelos em dispositivos aprendem com observações locais e agregam latentes destilados (não dados brutos) para um modelo global, permitindo o aprendizado contínuo sem comprometer a privacidade do usuário.
Ablação sobre Proteções (Guardrails): Fornece evidência empírica de que o ajuste fino protegido (usando o $\lambda$ -guardrail) melhora as métricas de alinhamento olfação-linguagem (ex: mAP, Recall) sem degradar a fundamentação visual, enquanto o ajuste fino não protegido leva ao colapso catastrófico do espaço de incorporação.

Resultados

A avaliação foi realizada em dados retidos (held-out) não vistos durante o treinamento:

Recuperação de Descritor de Odor: Alcançou um AUROC de 0.84 para fundamentação química. Para 90% das moléculas retidas, um descritor de odor correto apareceu nos 5 primeiros resultados recuperados (Recall@5 = 0.90).
Identificação de Substância via Sensor: O codificador de sensor identificou substâncias de origem com 0.90 de precisão top-1.
Localização de Cena via Sensor: O modelo localizou com sucesso fontes de odor para a categoria correta de objeto em uma cena com 0.90 de precisão top-1 e 0.72 de precisão exata top-1.
Achados da Ablação: As configurações de ajuste fino protegido (C1-C3) mostraram melhorias monotônicas nas métricas de olfação-linguagem (ex: mAP aumentou de 0.449 para 0.479) enquanto mantinham um desvio de âncora estável. Em contraste, a configuração não protegida (C4) causou uma queda do desvio de âncora para 0.005 e colapsou todas as métricas de fundamentação cruzada para os níveis de base aleatórios.

Significância e Limitações

O artigo posiciona o COLIP-2 não como uma solução perfeita, mas como um "baseline público" demonstrando os limites do que pode ser alcançado com os dados de código aberto atuais e sensores díspares.

Significância: Estabelece um caminho arquitetural viável para a robótica olfativa, provando que a geometria de texto compartilhada pode unir a química e a visão sem dados pareados. Destaca a necessidade de novos conjuntos de dados especializados (pares olfação-visão) para ir além da fundamentação de nível de família e alcançar a precisão de molécula única.
Limitações:
- Granularidade: A fundamentação é confiável no nível de "família de odores" (ex: cítrico), mas fraca para identificação de molécula única.
- Novidade: Substâncias genuinamente novas não são identificadas exatamente; elas apenas transferem fracamente no nível de família.
- Viés: O modelo depende de léxicos de odor humanos existentes, que carregam vieses culturais e de painelistas.
- Segurança: O modelo não é validado para aplicações críticas de segurança (toxicidade, vazamentos) ou diagnósticos médicos. Os outputs são rankings, não probabilidades calibradas.

Os autores concluem que, embora a arquitetura seja sólida, o próximo ganho de ordem de magnitude na percepção olfativa não virá de melhores funções de perda ou VLMs maiores, mas da coleta massiva de dados pareados de olfação-visão.