🤖 machine learning

Semantic Space Search Trajectory Networks

Este artigo introduz as Redes de Trajetória de Busca no Espaço Semântico, uma metodologia baseada em grafos que discretiza as previsões do modelo para visualizar e comparar a dinâmica de aprendizado entre diversos algoritmos e regimes de treinamento, revelando padrões estruturais distintos na forma como os modelos generalizam em dados reais versus dados randomizados.

Autores originais: Julian Agudelo, Alberto Tonda, Gabriela Ochoa, Vincent Guigue, Cristina Manfredotti, Evelyne Lutton

Publicado 2026-07-29

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Julian Agudelo, Alberto Tonda, Gabriela Ochoa, Vincent Guigue, Cristina Manfredotti, Evelyne Lutton

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer um gato. Você mostra a ele milhares de imagens, e ele começa a adivinhar. Mas como ele realmente aprende? Ele está apenas tateando cegamente no escuro ou está seguindo um mapa oculto? Por décadas, cientistas tentaram responder a isso observando o "cérebro" do robô (seus números e pesos internos). Mas isso é como tentar entender uma sinfonia encarando a partitura de um único violinista enquanto a orquestra toca; é confuso, caótico e ignora o panorama geral.

Para dar sentido a isso, pesquisadores utilizam uma ferramenta chamada Rede de Trajetória de Busca (STN - Search Trajectory Network). Pense em uma STN como um mapa de metrô do processo de aprendizado. Em vez de rastrear cada pequeno passo que o robô dá, ela agrupa momentos semelhantes em "estações" (nós) e desenha linhas (arestas) mostrando como o robô se move de uma estação para a próxima. Isso nos ajuda a ver se o robô está pegando uma rodovia direta para a resposta ou se está se perdendo em um labirinto. O problema é que os mapas de metrô tradicionais só funcionam para problemas simples e de baixa dimensão. Quando o robô se torna complicado (como uma IA moderna), o mapa fica tão congestionado e de alta dimensão que as linhas se misturam, tornando impossível a leitura.

É aqui que o conceito de Espaço Semântico entra em cena. Em vez de olhar para as engrenagens internas do robô, olhamos para o que ele diz. Se o robô está olhando para a foto de um gato, ele diz "cachorro"? Ele diz "gato"? Ele diz "carro"? A coleção de todos os seus palpites através de um conjunto de imagens de teste forma um "vetor semântico". É como uma impressão digital da compreensão atual do robô. Ao mapear a jornada do robô através dessas impressões digitais, em vez de suas engrenagens internas, podemos criar um mapa claro e legível mesmo para a IA mais complexa. Este artigo questiona: Podemos usar esses "mapas de impressões digitais" para comparar como diferentes tipos de algoritmos de aprendizado pensam, e eles podem nos dizer se uma IA está realmente aprendendo ou apenas memorizando?

A Grande Ideia do Artigo: Mapeando a Jornada, Não a Caixa de Engrenagens

Os autores, Julian Agudelo e sua equipe, introduzem uma nova maneira de construir esses mapas de metrô, que eles chamam de Redes de Trajetória de Busca de Espaço Semântico. O objetivo principal deles é visualizar como diferentes algoritmos de aprendizado de máquina (como redes neurais, árvores de decisão e regressão simbólica) "pensam" enquanto resolvem problemas.

Normalmente, comparar uma rede neural a uma árvore de decisão é como comparar um carro de corrida a uma bicicleta; eles têm motores e peças diferentes, então você não pode facilmente alinhá-los para ver quem é mais rápido ou como navegam. Mas os autores perceberam que, não importa que tipo de máquina você use, todos produzem a mesma coisa: previsões. Ao ignorar a mecânica interna e focar exclusivamente nas previsões (os vetores semânticos), eles podem colocar todos esses diferentes algoritmos no mesmo campo de jogo.

Como Eles Construíram o Mapa

Para transformar essas previsões contínuas em um mapa legível, a equipe teve que resolver um problema difícil: como agrupar previsões semelhantes quando existem milhões delas?

Discretização (Transformando Números em Categorias): Para tarefas de regressão (prever números como preços de casas), eles dividiram o intervalo contínuo de respostas em 10 "compartimentos" (bins) baseados na frequência com que certos valores aparecem (quantis). Para classificação (adivinhar rótulos como "gato" ou "cachorro"), eles usaram apenas o rótulo final. Isso transformou uma nuvem de dados contínua e desordenada em um conjunto de categorias distintas e contáveis.
Clustering (Agrupando as Estações): Eles utilizaram um método chamado agrupamento aglomerativo (agglomerative clustering). Imagine que você tem uma pilha de grãos de areia (cada grão é um estado de previsão). Você começa tratando cada grão como sua própria ilha. Então, você funde lentamente as duas ilhas mais próximas. Você continua fundindo os pares mais próximos até que a distância entre quaisquer duas ilhas restantes fique grande demais (controlada por um limiar chamado $\tau$ ). As ilhas finais tornam-se as "estações" no seu mapa de metrô.
Desenhando as Linhas: À medida que o algoritmo aprende, ele se move de um estado de previsão para outro. Eles rastrearam esses movimentos e desenharam setas entre as estações correspondentes. Quanto mais grossa a seta, mais frequentemente diferentes execuções de treinamento seguiram aquele caminho específico.

O Que Eles Descobriram: O "Funil" vs. A "Estrela"

A equipe testou este método em vários conjuntos de dados, incluindo o reconhecimento de dígitos manuscritos (MNIST), itens de moda (Fashion-MNIST) e a previsão de preços de carros. Eles compararam três algoritmos muito diferentes: MLPs (redes neurais), XGBoost (um poderoso método baseado em árvores) e Regressão Simbólica (que tenta encontrar fórmulas matemáticas).

A Descoberta:
Quando os algoritmos estavam aprendendo em dados reais (onde existe um padrão verdadeiro para encontrar), os mapas eram notavelmente semelhantes, independentemente do algoritmo utilizado. Eles formavam um formato de "funil".

O Funil: A jornada começava em muitos pontos diferentes (palpites iniciais aleatórios), mas os caminhos rapidamente se fundiam em algumas "rodovias" comuns e convergiam para um grupo apertado de estações "melhores". Isso sugere que, quando há um padrão real para aprender, diferentes algoritmos tendem a descobrir os mesmos passos intermediários e convergir para a mesma solução.
A Diferença: Embora o formato geral fosse semelhante, o "tráfego" parecia diferente. As redes neurais pareciam ficar presas em uma "bacia de atração" onde oscilavam um pouco antes de se estabelecerem, enquanto o XGBoost era mais direto, quase como um robô ganancioso que apenas continua apertando o controle sobre a resposta. A Regressão Simbólica, no entanto, foi a estranha do grupo; ela não formou um funil. Ela explorou o mapa em muitas direções diferentes, raramente convergindo em um único caminho, o que condiz com sua natureza de busca aleatória por fórmulas.

O "Teste de Memorização": O Mapa Revela Trapaça?

A parte mais emocionante do artigo vem de um experimento famoso de Zhang et al. (2017), que mostrou que redes neurais podem "memorizar" dados aleatórios tão bem quanto dados reais. Se você embaralhar os rótulos (dizer à IA que a foto de um gato é, na verdade, um "cachorro"), a IA ainda pode aprender a prever perfeitamente no conjunto de treinamento, mas falha miseravelmente em novos dados. Este é o regime de "memorização".

Os autores usaram suas STNs de Espaço Semântico para ver se a estrutura da jornada de aprendizado poderia distinguir entre aprendizado (generalização) e memorização (palpite aleatório).

Rótulos Reais (Aprendizado): O mapa era denso, eficiente e centralizado. Parecia uma cidade movimentada com um centro onde todos se encontram. Os caminhos eram interconectados, sugerindo que o algoritmo estava construindo um entendimento estruturado.
Rótulos Embaralhados (Memorização): O mapa parecia uma estrela. Os caminhos eram isolados, desconexos e espalhados. Não havia um centro. Cada execução de treinamento acabava em seu próprio canto solitário, nunca se encontrando com os outros.

A Conclusão:
O artigo sugere que a estrutura da jornada de aprendizado revela a verdade. Quando uma IA está realmente aprendendo um padrão, os caminhos convergem e se conectam. Quando ela está apenas memorizando ruído, os caminhos permanecem isolados. Eles mediram isso usando métricas de grafos como eficiência global e densidade. Por exemplo, no conjunto de dados "Bioresponse", o mapa de "rótulos reais" tinha uma densidade de 0,0157, enquanto o mapa de "rótulos embaralhados" era muito mais esparso, com 0,0049.

Eles também testaram o que acontece quando se corrompe os dados gradualmente, substituindo 20%, 40%, até 100% dos rótulos por ruído aleatório. À medida que a corrupção aumentava, o "funil" desmoronava lentamente, transformando-se no formato de "estrela". As métricas do grafo (como a eficiência global) caíam constantemente, mostrando uma transição suave do aprendizado para a memorização.

Por Que Isso Importa

Este trabalho sugere que não precisamos olhar dentro da caixa preta de uma rede neural para entender se ela está aprendendo ou trapaceando. Precisamos apenas olhar para o mapa de suas previsões. Se o mapa for uma rede conectada e eficiente, a IA provavelmente está aprendendo algo real. Se o mapa for uma coleção espalhada de caminhos isolados, ela provavelmente está apenas memorizando.

Os autores ressaltam que este é um estudo baseado em simulação e uma ferramenta qualitativa de análise, não uma solução mágica para o mistério da generalização. Eles sugerem que este método oferece uma nova perspectiva comportamental que complementa as teorias existentes. É um novo par de óculos que nos permite ver a "forma" da inteligência, mostrando que, seja você uma rede neural ou uma árvore de decisão, se estiver aprendendo a verdade, sua jornada será semelhante.

Resumo Técnico: Redes de Trajetória de Espaço Semântico

Definição do Problema
As Redes de Trajetória de Busca (STNs - Search Trajectory Networks) são ferramentas baseadas em grafos estabelecidas para visualizar e caracterizar algoritmos de otimização, mapeando estados de busca como nós e transições como arestas. No entanto, a construção tradicional de STNs depende da discretização do espaço de busca explícito (ex: vetores de parâmetros). Essa abordagem enfrenta limitações significativas em ambientes de alta dimensão devido à "maldição da dimensionalidade", onde a concentração de distância e a esparsidade de vizinhanças tornam difícil a definição de uma discretização e vizinhanças significativas. Consequentemente, as STNs têm sido amplamente confinadas a problemas de otimização de baixa dimensão ou combinatórios. Além disso, comparar a dinâmica de aprendizado entre famílias heterogêneas de algoritmos (ex: redes neurais vs. árvores potencializadas por gradiente vs. regressão simbólica) é desafiador porque seus espaços de parâmetros são estruturalmente incomparáveis.

Metodologia
Os autores propõem a construção de STNs dentro de espaços semânticos, definidos como o espaço das previsões de um modelo sobre um conjunto de amostras fixo. Isso desloca a representação dos parâmetros do modelo para o comportamento funcional. A metodologia envolve as seguintes etapas:

Geração de Vetor Semântico: Para um determinado conjunto de dados $D = \{(x^{(i)}, y^{(i)})\}$ , um aprendiz iterativo produz uma sequência de vetores semânticos $\langle \hat{y}_0, \dots, \hat{y}_T \rangle$ , onde $\hat{y}_t$ contém as previsões do modelo para todas as amostras no passo de otimização $t$ .
Estratégia de Discretização: Para lidar com vetores semânticos de alta dimensão, os autores empregam uma discretização baseada em agrupamento (clustering):
- Classificação: As previsões são convertidas em rótulos de classes discretos (usando argmax para logits).
- Regressão: Previsões contínuas são discretizadas em bins globais baseados em quantis, calculados através de todos os vetores semânticos.
- Agrupamento: O agrupamento hierárquico (agglomerative clustering) com ligação completa (complete linkage) é aplicado utilizando a distância de Hamming normalizada. Os clusters são fundidos iterativamente até que a distância máxima entre pares de elementos de dois clusters exceda um limiar $\tau$ .
Construção da Rede: Os clusters resultantes definem os nós da STN. As transições entre vetores semânticos consecutivos na trajetória de otimização são mapeadas para arestas direcionadas entre suas respectivas atribuições de cluster. Os pesos das arestas refletem as frequências de transição.
Hiperparâmetro: O único hiperparâmetro ajustável é o limiar de agrupamento $\tau$ , que controla a granularidade da agregação.

Principais Contribuições

Construção de STN em Alta Dimensão: Introdução de uma estratégia de discretização baseada em agrupamento que permite a construção de STNs em espaços semânticos de alta dimensão, contornando a necessidade de uma discretização explícita no espaço de parâmetros.
Comparação entre Algoritmos: Demonstração de que as STNs de espaço semântico permitem a comparação qualitativa e quantitativa das dinâmicas de aprendizado entre famílias de algoritmos fundamentalmente diferentes (MLPs, XGBoost, Regressão Simbólica) ao unificá-las sob uma representação funcional comum.
Análise de Generalização: Aplicação de STNs de espaço semântico para contrastar o treinamento padrão com o regime de randomização de rótulos (Zhang et al. [22]), revelando diferenças estruturais nas dinâmicas de aprendizado que se correlacionam com capacidades de generalização.

Resultados
Os autores aplicaram a metodologia a tarefas de classificação e regressão utilizando Perceptrons Multicamadas (MLPs), XGBoost e Regressão Simbólica (SR).

Comparação de Algoritmos:
- MLPs e XGBoost: Ambos os métodos baseados em gradiente exibiram comportamentos do tipo "funil" (funnel-like), onde diversos pontos de partida convergiram para uma região comum do espaço semântico antes de atingir um nó final ideal. As MLPs frequentemente mostraram um bassin de atração com nós interconectados, enquanto as trajetórias do XGBoost foram mais determinísticas, convergindo para um único melhor nó.
- Regressão Simbólica: A SR exibiu dinâmicas marcadamente diferentes e mais exploratórias, com nós finais distribuídos por uma ampla gama de localizações semânticas, refletindo sua busca estocástica e não baseada em gradiente.
Generalização vs. Memorização:
- Diferenças Estruturais: As STNs treinadas com rótulos reais formaram consistentemente grafos mais densos, eficientes e centralizados (topologia de funil) em comparação com as treinadas com rótulos embaralhados, que resultaram em topologias estreladas, esparsas e disjuntas com trajetórias isoladas.
- Métricas Quantitativas: Descritores de teoria dos grafos (densidade, eficiência global, centralidade de proximidade, PageRank) separaram consistentemente os dois regimes. O treinamento com rótulos reais produziu valores mais altos em todas essas métricas.
- Corrupção de Rótulos: A corrupção progressiva dos rótulos (interpolando entre reais e aleatórios) mostrou uma diminuição monotônica na conectividade e eficiência do grafo, transformando visualmente a estrutura densa de generalização em trajetórias isoladas conforme a informação era destruída.
Robustez: A topologia geral das STNs de espaço semântico permaneceu estável através de variações no número de trajetórias amostradas (execuções), sugerindo que o método captura aspectos persistentes da dinâmica de otimização.

Significância e Alegações
O artigo afirma que as STNs de espaço semântico fornecem uma ferramenta para analisar e comparar dinâmicas de aprendizado entre modelos de aprendizado de máquina e regimes de treinamento que, de outra forma, seriam incomparáveis. Ao focar no espaço de previsões em vez de parâmetros, o método captura a dinâmica de treinamento funcional resultante da interação entre algoritmos de aprendizado e os dados.

Especificamente em relação à generalização, os autores propõem uma visão comportamental: as diferenças estruturais observadas nas STNs de espaço semântico (denso/centralizado vs. esparso/disjunto) refletem a presença ou ausência de uma função subjacente que governa os dados. Quando existe uma relação verdadeira, a otimização descobre estados intermediários estruturados que levam a uma convergência agrupada. Quando os rótulos são aleatórios, as trajetórias fragmentam-se. Os autores posicionam as STNs de espaço semântico como um complemento às análises existentes de paisagem de perda (loss landscape), oferecendo uma perspectiva global sobre o processo de otimização que é distinta da análise de mínimos locais. O trabalho une perspectivas da computação evolutiva e do aprendizado profundo para oferecer um framework unificado para o estudo do comportamento de otimização.

A Grande Ideia do Artigo: Mapeando a Jornada, Não a Caixa de Engrenagens

Como Eles Construíram o Mapa

O Que Eles Descobriram: O "Funil" vs. A "Estrela"

O "Teste de Memorização": O Mapa Revela Trapaça?

Por Que Isso Importa

Mais como este